Pasos para diseñar un examen de 
clasificación 

Este libro busca mostrar el proceso de diseño de un examen de 
clasificación de la comprensión lectora en ELE y cómo la puntuación de 
un examen no depende de la cantidad de ¡ternes que éste incluya, sino 
en crear un equilibrio entre viabilidad y validez. La orientación teórica 
se basó en algunos planteamientos desarrollados por autores como 
Brown (2001), Khalifa & Weir (2009), Figueras & Puig (2001) y Green 
(2013). Las autoras presentan una revisión acerca de las microdestrezas 
que los estudiantes activan al momento de leer en una lengua 
extranjera, los conocimientos que los estudiantes deben tener en cada 
uno de los niveles, las tareas, el tipo de texto y las preguntas más 
apropiadas para cada nivel. 
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1. INTRODUCCIÓN 


“Uno no es lo que es por lo que escribe, sino por lo que ha leído 

Jorge Luis Borges. 


Leer es una actividad casi inherente al ser humano. Se lee el periódico, las noticias en 
internet, los correos electrónicos, las vallas que se encuentran en las calles, los menús de los 
restaurantes, etc; es decir, casi todas las acciones que se realizan a diario implican de una u 
otra manera la lectura. En el aprendizaje de lenguas extranjeras, la lectura cumple un papel 
fundamental ya que es uno de los mecanismos más utilizados por los estudiantes para 
acercarse a otro idioma (Carrel & Grabe, 2010). A pesar de esto, la destreza de la 
comprensión lectora 1 es una de las más relegadas en el aula de lengua debido a que muchos 
profesores parecen considerar que no es necesario dedicarle suficiente tiempo, puesto que los 
estudiantes tienen algunas destrezas en lengua materna que pueden ser transferibles a la 
segunda lengua o lengua extranjera (de Mejía et al, 2009). 

xT 

A* 


No obstante, muchas veces no se conoce cómo leen los estudiantes en su lengua materna 
ni se entiende cómo procesan Jacíñformación leída (Brown, 2004). Esto lleva a que los 
profesores no entiendan muy bien el proceso de evaluación ya que en situaciones donde 
tienen que medir la comprensión lectora se evidencian muchas dificultades. También, Brown 
(2004) sostiene que uno de los problemas más comunes a la hora de evaluar la comprensión 
lectora es la falta de conocimiento que existe acerca de qué y cómo debe leer el estudiante en 
cada uno de los niveles de lengua, así como las microdestrezas que debe desarrollar. De igual 
manera, Brown (2004) menciona que el primer obstáculo a los que se enfrentan los profesores 
es que no se detienen a pensar en el propósito de la prueba (por qué se evalúa) y que por su 
afán de querer hacer exámenes internacionales estandarizados no se exploran diferentes 
maneras de evaluar la comprensión. 


1 En adelante se entenderá como CL. 
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Por lo anterior, se decidió realizar una investigación sobre la evaluación de la comprensión 
lectora, no solamente por la importancia que tiene en el aprendizaje de lenguas, sino también 
por la poca atención que se le ha dado en los procesos de enseñanza (Alderson, 2000). En ese 
sentido, este libro recoge la experiencia de una investigación previa en la que diseñamos un 
examen de clasificación de la comprensión lectora. 

La institución con la cual trabajamos es reconocida intemacionalmente 2 . Según su 
página oficial de internet, tiene 62 años de experiencia en la enseñanza de lenguas extranjeras 
y sedes en más de 150 países alrededor del mundo. Este centro de lenguas no sólo ofrece una 
gran variedad de cursos de español acordes con las necesidades de estudiantes extranjeros, 
sino también un diplomado para aquellas personas que quieren enseñar esta lengua, en el que 
brindan las herramientas básicas para comenzar el camino como docentes de ELE. 

Nuestra investigación surgió a partir de la siguiente pregunta: ¿Cómo evaluar la condición 
de entrada en la habilidad de comprensión lectora de los estudiantes de español L2 en El? 
Dicho interrogante se verificó a través de un objetivo que consistió en diseñar una propuesta 
de examen de clasificación qué'- evaluara la comprensión lectora. Esto exigió que 
identificáramos los niveles de ingreso más frecuentes que presentan los estudiantes de los 
cursos de español como lengua extranjera; también procedimos a seleccionar las 
microdestrezas y los contenidos que se medirían en cada uno de los niveles; establecimos los 
descriptores que ilustraron cada uno de los niveles; se determinaron las preguntas, tareas y 
tipos de textos que se emplearían en el examen; y finalmente, concretamos las escalas de 
evaluación para la puntuación del examen de clasificación. 

Este libro es el resultado de nuestra investigación de maestría en la Pontificia Universidad 
Javeriana; por ello queremos agradecer al PhD. Carlos Rico, quien fue nuestro director en 




¿y 

cF 


2 Ya que la documentación a la cual accedimos y que fue facilitada por la institución aludida, es de carácter 
privado, no mencionaremos el nombre real de la misma, sino que la identificaremos con el nombre de La 
Escuela de Idiomas (El). 
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dicho trabajo, sus orientaciones y valiosas asesorías permitieron que llegáramos a 
importantes conclusiones en el campo de la evaluación. 


2. LOS RIESGOS DE UN MAL EXAMEN DE CLASIFICACIÓN 


Debido a la globalización y al fortalecimiento económico, social y político que ha tenido 
el mundo hispano durante las últimas décadas, el español se ha venido posicionando como 
una de las lenguas más importantes. De acuerdo con Crystal (2003), la segunda lengua más 
hablada en el mundo después del chino mandarín es el español; y el número de personas que 
la hablan como lengua materna está creciendo más rápido que el inglés. Paralelamente, el 
interés por la enseñanza del español como lengua extranjera ha incrementado en los últimos 
años. Una muestra de esto es, como lo presenta el informe “El español: una lengua viva ” del 
Instituto Cervantes (2016), alrededor de 21 millones de personas estudian español como 
lengua extranjera en todo el mundo y esta cifra aumenta un 10% cada año. 

A 

Por esta razón los Ministerios de Educación, de Relaciones Exteriores y de Cultura, el 
Instituto Caro y Cuervo, la marca País Colombia entre otras instituciones y entidades públicas 
y privadas han unido esfuerzos para posicionar a Colombia como uno de los destinos más 
reconocidos para aprender español como lengua extranjera. Para tal fin dichas instituciones 
crearon el portal Spanish in Colombia, el cual tiene como objetivo “lograr consolidar una 
oferta de alta calidad que satisfaga las expectativas de todos aquellos interesados en mejorar 
el dominio del idioma español y en conocer más sobre la cultura colombiana” (Spanish in 
Colombia, 2013). 

Dentro de las instituciones que enseñan español en Colombia se encuentra EL Entre los 
cursos ofrecidos a los estudiantes interesados en aprender español, se encuentra el de español 
general, el cual cuenta con cinco niveles generales 3 : Al, A2, Bl, B2 y Cl. La intensidad 
horaria 4 que ofrecen es de 20 horas a la semana, de lunes a viernes, en grupos de máximo 8 


3 Se dividen en subniveles: Al que se divide en Al.l y Al.2; A2 que cuenta con A2.1 y A2.2; Bl que tiene 
Bl.l, B1.2 pre-intermedio, Bl.l intermedio, B1.2 intermedio y B1.3 intermedio; B2 compuesto por B2.1 
intermedio alto, B2.2 intermedio alto, B2.1 pre-avanzado, B2.2 pre-avanzado, B2.3 pre-avanzado y Cl 
conformado por Cl.l pre-avanzado alto, C1.2 pre-avanzado alto, Cl.l avanzado alto, C1.2 avanzado alto. 

4 La intensidad horaria de los niveles es de: Al, 80 horas; A2, 80 horas; Bl, 200 horas; B2, 200 horas; Cl, 

160 horas. 
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estudiantes. Los cursos que se ofrecen son dirigidos a todos los niveles de lengua y los 
estudiantes pueden inscribirse mínimo durante una semana; los estudiantes nuevos siempre 
inician cada lunes. 


No obstante, a pesar de la trayectoria que tiene El y de su masiva presencia en muchos 
lugares del mundo, nos llamó la atención que los directivos de la sede de Bogotá hubieran 
manifestado que estaban teniendo algunas dificultades en la clasificación de los estudiantes 
en los diferentes niveles de español que ofrecían. Esta situación fue corroborada por el 
Coordinador de español de la escuela (Entrevista personal, 12 de septiembre de 2015), quien 
afirmó que en aquel momento los estudiantes se clasificaban en uno de los 18 niveles del 
centro por medio de un examen estándar utilizado en ese entonces. Sin embargo, en la 
realidad del aula se evidenciaba que los estudiantes no habían sido clasificados 


adecuadamente y que el nivel de lengua del alumno no correspondía al curso al que era 
asignado. 

En este marco, cabe mencionar la importancia que tiene un examen de clasificación para 
los estudiantes, ya que una evaluación inadecuada de sus habilidades puede traer consigo un 
sinnúmero de problemas, entre los que se encuentran la desmotivación, la pérdida de tiempo 
en cursos que no necesita, conflictos entre el estudiante, el profesor y los directivos, etc. 
(Young, 2011). Del mismo modo, vale la pena resaltar que la evaluación cumple un papel 
esencial al momento de enseñar y aprender una lengua, debido a que no solo se utiliza para 
“imponer una medida o número a las operaciones de la mente” (Galton, 1987, p.l), sino que 
permite evaluar tanto el nivel de desarrollo de las destrezas comunicativas de los estudiantes 
como sus fortalezas y debilidades. Adicionalmente, un instrumento de evaluación adecuado 
es fundamental para el proceso de enseñanza-aprendizaje en la medida que le brinda al 
docente un insumo para conocer el nivel del estudiante, y además le permite delimitar 
estándares en los currículos y establecer los prerrequisitos que se necesitan para entrar a dicho 
nivel (Brown, 2005). 
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Por lo anterior, hicimos un análisis detallado de la antigua prueba de clasificación, la 
cual estaba dividida en dos partes: la primera parte constaba de 80 preguntas de selección 
múltiple en la que se evaluaban aspectos gramaticales y lexicales; la segunda parte estaba 
destinada a evaluar la expresión oral. Después del análisis de la prueba y la entrevista al 
Coordinador del programa de español de El, se concluyó que ese examen presentaba dos 
hechos problemáticos que hacían necesario diseñar una propuesta de un examen de 
clasificación de la CL que se adecuara a las necesidades actuales de los estudiantes y de la 
institución. El primer hecho problemático hace referencia al qué y cómo medía la anterior 
prueba, mientras que el segundo hace referencia a la coherencia entre el programa de la 
institución y el examen. 

En relación al primer hecho problemático, se observó que el antiguo examen no medía 
destrezas como la comprensión lectora, la comprensión oral y la expresión escrita. Al 
respecto, Martínez (2008) afirma que los exámenes deben tener la capacidad de evidenciar 
las destrezas que tienen los estudiantes, y que si no lo hacen, no se puede determinar cuál es 
el verdadero dominio de la lengua y por lo tanto la calificación no será ni certera ni válida. 

Con referencia a esto último, McNamara (2000) menciona que hay que elaborar evaluaciones 

_, , , 

en las que los estudiantes muestren lo que saben hacer con la lengua, no sólo lo que saben de 

✓ O 

la lengua. En la prueba escrita de El se evidenció lo anterior debido a que solamente medía 
el léxico y la gramática, es decir que los estudiantes sólo daban cuenta de su conocimiento 
sobre la lengua mas no de lo que sabían hacer con ella. El siguiente extracto refleja el 
problema de evaluar de manera mecánica la gramática del español. 


52) A María_las películas de terror 

a. se pone nerviosa. 

b. le ponen nerviosa. 

c. se ponen nerviosa. 


Figura 1: Muestra 1 del examen de clasificación de El (2006). 
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Además de evaluar solamente la gramática y el léxico, se encontró que muchas 
preguntas tenían respuestas que eran gramaticalmente incorrectas, lo cual para Figueras & 
Puig (2013) no es adecuado porque todos los ítems deben ser correctos y con sentido, por lo 
que tener opciones que no son posibles solo complica más la prueba y la hace inconsistente. 


8) Persona A. ¿Qué haces aquí a esta hora? 


Persona B. 


a. 

Estoy esperando a un amigo 


b. 

Soy trabajando. 


c. 

Estoy estudiar español 


20) 

a) Quinientos euros. 



b) Cincocientos euros. 


c) Quinientas euros. 



Figura 2: Muestra 2 del examen de clasificación de El (2006) 


Igualmente, hay algunas preguntas que no tienen ninguna respuesta correcta debido a 
que la que debe considerarse como la correcta tiene un error de digitación, lo cual puede 
invalidar la pregunta y causar confusión en el estudiante. 


27) Los pantalones te van bien y los quieres comprar ¿Qué dices? 

a. Compro ellos. 

b. Me los lllevo. 

c. Los tomo. 


Figura 3: Muestra 3 del examen de clasificación de El (2006) 


De igual manera, observamos que la gran mayoría de las preguntas no presentan ningún 
tipo de contexto, por lo que se hace difícil enmarcarlas en una situación comunicativa. Por lo 
tanto, va en contravía de lo que dice la escuela en relación con la utilización del enfoque 
comunicativo en la enseñanza de lenguas. Además, esto podría sugerir que este examen no 
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permite evidenciar las habilidades del estudiante que toma la prueba en un contexto 
comunicativo (Instituto Cervantes, 2015). A continuación se presentan algunos ejemplos 
extraídos del examen de clasificación de ese momento: 


4) a. 

b. 

c. 

¿Dónde es la Plaza Bolívar? 
¿Dónde está la Plaza Bolívar? 
¿Dónde hay la Plaza Bolívar? 


42) El otro día estaba en mi casa y 

se fue la luz 


a. por eso 

b. pues 

c de pronto 


53) 

a) Juan se cae muy bien con su padre 

b) A Juan le cae muy bien su padre. 

c) Juan se lleva muy bien con su padre 



Figura 4\ Muestra 4 del examen de clasificación de El (2006). 

Con relación a este hecho problemático, Brown (2005) menciona que un buen examen 
debe asemejarse a lo que las personas hacen de manera natural en situaciones que no sean de 
evaluación, es decir toda prueba debe tener un fin comunicativo. Sin embargo, en las 
actividades que se presentaron en el examen, se encontró una secuencia de preguntas que no 
se enmarca en un contexto comunicativo específico. Por lo tanto, el examen de El podría ser 
catalogado como “artificial, forzado e improbable de reflejar el uso real” (p. 10). Esto es un 
problema, según Brown (2004), ya que si no se le da un contexto al estudiante, este podría 
confundirse durante el examen y no obtener los resultados esperados. 


Ahora bien, el segundo hecho problemático es la evidente falta de coherencia que 
existía entre el programa de ELE y el examen de clasificación, debido a que El afirma que 
utiliza el enfoque comunicativo para el desarrollo de destrezas de los estudiantes y que lleva 
a cabo unos contenidos específicos en cada uno de los niveles. Sin embargo, la manera de 
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evaluar no concordaba con las habilidades de comunicación ni con lo que se aprendía en las 
clases. En otras palabras, se encontraron inconsistencias entre lo que se enseñaba y lo que se 
evalúaba. De ahí que consideráramos que era absolutamente indispensable que el examen de 
clasificación estuviera basado en el programa de la escuela (Alderson, Clapham y Wall, 1995 
& Brown, 2005). 


Por otro lado, se decidió trabajar con la CL por diferentes razones: Primero, porque el 
examen de clasificación de El no contaba con un apartado que evaluara esta habilidad. 
Segundo, debido a la importancia que tienen las habilidades receptivas a la hora de aprender 
una lengua extranjera; esta es una manera de adquirir conocimientos que le serán útiles 
después para desarrollar las habilidades productivas, por lo que hay que exponer al máximo 
al estudiante a leer diferentes tipos de textos (Crystal, 2011). Este punto llama nuestra 
atención porque los estudiantes deben hacer uso de esta destreza con mucha frecuencia al 
leer señales, gráficos, noticias en internet, mensajes de texto, etc.; y por la facilidad con la 
que pueden encontrar un texto en la lengua que están aprendiendo (Consejo de Europa, 2000). 
A propósito de esto, Carrell & Grabe (2010) afirman que por medio de la CL los estudiantes 
pueden practicar la lengua fuera del salón de clase de manera eficaz y estar comunicados en 


el mundo globalizado. 


< 


S- 




Asimismo, la CL es una de las habilidades más durables, es decir, los estudiantes 
pueden perder habilidad en lo productivo, pero siempre van a poder comprender un texto con 
algo de experticia (Berhardtcitado en Rivers, 2010). Además, el autor asegura que gran parte 
de los estudiantes que aprenden una segunda lengua, son adultos que estudian o trabajan y 
están inmersos en un medio donde es indispensable leer o tener habilidades lecto-escritoras 
“algo sofisticadas”. Del mismo modo, de Mejía et al. (2009) aseguran que en Colombia hay 
que desarrollar más y mejores evaluaciones de la comprensión lectora, ya que los exámenes 
de ELE que evalúan esta habilidad son muy superficiales y por ende imposibilitan la 
evaluación de procesos cognitivos complejos, como lo son la interpretación o la inferencia 
de información de los textos presentados. 
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Teniendo en cuenta lo anterior, fue urgente para esta situación en particular incluir un 
examen de clasificación de español que nos permitiera dar cuenta de la comprensión lectora 


en el centro de idiomas EL 


3. ACTITUD FRENTE A LA EVALUACIÓN 


La CL es una habilidad fundamental a la hora de aprender una lengua extranjera 
(Brown, 2004), especialmente en el mundo multilingüe y multicultural en el cual vivimos. 
La movilización estudiantil que se está presentando actualmente no tiene precedentes, razón 
por la cual se exige un alto dominio en una segunda lengua. Lo anterior presupone que se 
piensen en pruebas que permitan medir las habilidades comunicativas de los estudiantes, y 
una de dichas habilidades es la comprensión lectora. Debido a esto, la investigación que dio 
origen a este libro se justificó en lo siguiente: 


Primero, porque podría ser útil para los profesores, estudiantes y administrativos de 
la escuela de idiomas El al momento de la clasificación en los diferentes niveles de español, 
ya que este proceso causaría menos traumatismo y daría un poco más de información al 
evaluador sobre el nivel de lengua del aprendiente. Esto es importante porque puede 
aumentar la motivación de los aprendientes en tanto ven progreso en el estudio de su segunda 
lengua y en la consecución de sus objetivos (Madsen, 1983). Asimismo, una buena 

evaluación podría ayudar a que los estudiantes tengan una actitud positiva hacia la clase, y 

OO 

ayudarles en la adquisición de la lengua que están aprendiendo. 


Segundo, porque a pesar de que la evaluación es parte fundamental en los procesos 
de enseñanza-aprendizaje, su práctica todavía no ha sido muy estudiada ni investigada, ya 
que es un tema que no atrae generalmente el interés de las personas (Puig, 2008). Como 
consecuencia, la evaluación no es bien entendida y la mayoría de las veces la asociamos con 
sentimientos negativos como la ansiedad, impotencia, etc. (McNamara, 2000). Sin embargo, 
es evidente que la evaluación hoy por hoy es de vital importancia para nuestra sociedad no 
solo en el sistema educativo, sino también para el económico y político. Esto se hace evidente 
en distintos momentos de nuestra vida, como por ejemplo al acceder a un trabajo, graduarse 
de la universidad o emigrar a otro país. Así pues, la evaluación es un mecanismo necesario 
para determinar la eficacia de un proceso de enseñanza y de garantizar la movilidad social. 
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Tercero, porque aunque el proceso de evaluar a un estudiante generalmente es 
entendido como un mecanismo simple en donde el profesor busca obtener respuestas por 
parte de los estudiantes para luego otorgarle una calificación. Sin embargo, la evaluación es 
un proceso más complejo por todas las variables que intervienen en la comunicación, como 
el contexto, la situación, los referentes, etc. (Chapelle & Brindley, 2010). Además, la 
evaluación es el área donde los profesores sienten menos confianza por no contar con los 
conocimientos requeridos (Nunan, 1988) o porque conciben la evaluación como un proceso 
separado a la enseñanza (Pérez, Guerra & Ladrón, citados en López & Bernal, 2009). Así 
pues, el presente trabajo investigativo podría ser útil a los profesores de lengua extranjera 
como referencia para enriquecer la manera como están evaluando a sus estudiantes o para 
que ellos mismos diseñen sus evaluaciones de manera rigurosa y fundamentada. 

Finalmente, por la necesidad que manifestó El de mejorar su examen de clasificación 
para que éste fuera un poco más coherente con su programa, expresando total compromiso y 
participación en todo el proceso de construcción del examen de lectura. Lo dicho 
anteriormente es pertinente en la medida que es necesario que exista una cooperación entre 
los creadores de los exámenes, profesores y administrativos de los centros de idiomas para 
poder diseñar exámenes pertinentes en cada contexto específico (Sullivan, 2011). Por ello, la 
investigación fue un primer acercamiento al mejoramiento del examen de clasificación de El 
y a su relación con el programa. 

4. ANTECEDENTES 

Ya que en nuestra propuesta se buscaba elaborar un examen de clasificación que 
evaluara la comprensión lectora, era indispensable presentar antecedentes investigativos que 
estuvieran relacionados con la evaluación de la comprensión lectora, para poder así 
enriquecer nuestro trabajo desde lo metodológico, lo teórico y la vigencia del problema, 
además de aportar experiencias y resultados importantes para su realización. Para este 
propósito, el apartado se dividirá en tres partes: en la primera se presentarán tres 
investigaciones realizadas en Colombia: la De Mejía, López, Cruz, Flaborea & Guzmán 
(2009), la de López & Bernal (2009) y la de Bejarano & Santamaría (2014). La segunda parte 


14 


hará referencia a dos investigaciones realizadas en España: la de Sarayey Leal Rodríguez 
(2009) de la Universidad de Nebrija y la de Devís, Gómez & Sanjosé (2013) de la 
Universidad de Valencia. La tercera parte reúne dos investigaciones de Inglaterra y Estados 
Unidos respectivamente: la de Anthony Green (2013) del British Council y la de Ah-Young 
(Alicia) Kim (2015) de la Universidad de Wisconsin-Madison. 

El primer antecedente entre los trabajos realizados en Colombia es el de Anne-Marie 
de Mejía et al (2009), realizado entre la Universidad de los Andes y el Instituto Caro y 
Cuervo, y el cual se titula “£7 informe del estudio sobre los exámenes en español como lengua 
extranjera administrados en Colombia”. En este trabajo se dan a conocer los resultados de 
una investigación que examina las evaluaciones de ELE en Colombia. En este estudio 
participaron 18 instituciones de 8 ciudades colombianas que tienen programas de ELE: 17 de 
educación superior y un centro cultural. En la recolección de información fueron empleadas 
entrevistas, análisis de instrumentos de evaluación y encuestas que se suministraron a los 
coordinadores y docentes de los programas de ELE de dichas instituciones. Los resultados 
de esta investigación evidenciaron que los exámenes de clasificación generalmente tienen 
entre cuatro y seis secciones, las preguntas más frecuentes son de selección múltiple y de 
completar, y el énfasis que denotan los exámenes tiende a ser gramatical y de vocabulario. 
Además, el uso frecuente de preguntas de selección múltiple y de completar sin una 
contextualización adecuada denota una discrepancia con los fundamentos comunicativos que 
afirman tener los programas. Otro caso en donde se puede evidenciar esta discrepancia es en 
las instrucciones, debido a que con frecuencia éstas no son claras y no le ofrecen al estudiante 
suficiente información. 

En cuanto a la evaluación de la CL, los investigadores observaron que la forma como 
se presentan estos textos no requiere que el estudiante los comprenda, sino que la mayoría de 
preguntas que se plantean pueden ser resueltas buscando el fragmento de la información 
requerida. Por el contrario, el porcentaje de preguntas que demandan procesos cognitivos 
más altos como inferencias o interpretaciones es bajo. 
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Este informe investigativo fue relevante para nuestra investigación, ya que menciona 
la importancia de que los exámenes de clasificación estén acordes con los programas a los 
que responde. De igual forma, contribuyó en la medida en que aportó algunas 
recomendaciones metodológicas para el diseño de exámenes, debido a que especifica cuáles 
son las partes de un examen de clasificación y expone la tipología de preguntas más usada 
para evaluar la comprensión lectora, es decir, las preguntas de selección múltiple y de 
completar. 

El segundo trabajo realizado en Colombia a referenciar es el de López & Bernal (2009), 
publicado en la revista Profile, el cual se titula “ Language Testing in Colombia: A Cali for 
More Teacher Education and Teacher Training in Language Assessment”. Este artículo de 
investigación determina cuáles son las percepciones de los profesores de lengua sobre la 
evaluación y cómo los profesores colombianos la están usando en los salones de clase. Los 
investigadores recolectaron información por medio de una encuesta Online en donde 
preguntaban por la perspectiva que tenían acerca de la evaluación. En esta investigación 
participaron 82 profesores de inglés en primaria, bachillerato, universidad o institutos de 
lengua, cuya experiencia en el campo de la docencia oscilaba entre tres y diecisiete años. 

,<y 

Después de revisar los datos recolectados, los investigadores concluyeron que en 
Colombia no se le da a la evaluación la importancia que ésta tiene debido a que en los 
programas de pregrado y posgrado de formación de docentes de lenguas, es muy poco el 
entrenamiento que se les brinda. Es por esta razón que los profesores no aplican la evaluación 
adecuadamente en los salones de clase, ya que ésta es entendida más como un proceso 
sumativo y no formativo, y no han hecho mucha investigación al respecto. Adicionalmente, 
los investigadores mostraron que los profesores que tenían entrenamiento en el campo de la 
evaluación la perciben como parte fundamental del proceso de enseñanza aprendizaje. Por 
otro lado, los profesores que no tenían entrenamiento en evaluación tendían a percibirla de 
manera negativa, ya que la concebían sólo de manera sumativa, como requisito de la 
institución o como instrumento de poder y control. 
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Los investigadores concluyeron que hay una relación entre el conocimiento que tienen 
los profesores de la evaluación y las percepciones que se tienen de ésta. Además 
recomiendan que los profesores tengan más entrenamiento sobre la evaluación, ya que si 
tienen una percepción positiva, éstos serán capaces de diseñar tipos de evaluaciones 
relevantes para su contexto y necesidades que den información útil sobre el proceso de los 
estudiantes. 


Esta investigación fue relevante para nosotras debido a que muestra el panorama de 
cómo los profesores de lengua perciben la evaluación en nuestro país y resalta la necesidad 
de hacer investigación en este campo para favorecer una cultura de la evaluación y poder así 
mejorar la educación. A pesar de que se trata de un estudio de inglés como lengua extranjera, 
denota la importancia de desarrollar investigaciones sobre evaluación para concientizar y 


ayudar a los profesores en el diseño de éstas. Por consiguiente, sustentó la importancia de 
nuestro problema de investigación. 

Finalmente, el último trabajo investigativo realizado en Colombia que se menciona en 
este apartado se titula “Diseño de la prueba oral del examen de clasificación del Centro 
Latinoamericano de la Pontificia Universidad Javeriana - CLAM" realizado por Bejarano & 
Santamaría (2014), el cual tiene como objetivo diseñar una propuesta de prueba oral en los 
cursos de ELE para el Centro Latinoamericano de dicha universidad. Los investigadores 
mencionan la necesidad de hacer este trabajo para articular y actualizar el examen de 
clasificación del CLAM de acuerdo con los niveles de referencia expresados en el Marco 
Común Europeo, el programa del CLAM y los objetivos de cada nivel. En este trabajo se 
presenta un recorrido por distintos conceptos teóricos que responden al campo de evaluación 
y con más detalle a la lengua oral, el enfoque por tareas para la evaluación, el examen de 
clasificación, el MCER, el Plan Curricular del Instituto Cervantes (En adelante PCIC), y los 
conceptos de validez, fiabilidad y viabilidad de una prueba. En el diseño de la prueba los 
autores diseñaron tres tareas y descriptores de evaluación siguiendo la ruta metodológica 
propuesta por Bachman y Palmer (2010). 
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Esta investigación ofrece aportes a nivel teórico, ya que da luces acerca del cómo 
evaluar a través de un examen de clasificación. Por un lado, dicho documento es relevante a 
nivel metodológico porque presenta los procedimientos propuestos por Bachman y Palmer 
(2010) para la validación de una prueba y muestra cómo a partir de los descriptores del 
MCER pueden desarrollarse tareas de evaluación, y encontrar las recomendaciones que los 
investigadores hacen acerca del tiempo de la prueba. 

Con respecto a las investigaciones realizadas en España, se tuvo en cuenta un trabajo 
de maestría de la Universidad de Nebrija sobre el diseño de un examen de español en Madrid. 
La investigación se titula “ Diseño de un examen de nivel de español para aprendices adultos 
inmigrantes", y fue realizada por Leal (2009). Este trabajo tenía como objetivo diseñar un 
examen de clasificación debido a que no se había diseñado previamente un instrumento para 
ubicar a los estudiantes en los niveles de los centros de español para inmigrantes. En el 
momento de diseñarlo se tuvieron en cuenta los tres criterios básicos que debe poseer este 
instrumento: validez, fiabilidad y viabilidad. En el caso de esta investigación, la viabilidad 
resultó clave puesto que los recursos económicos con los que cuentan los centros son, en 
ocasiones, muy escasos. Durante el diseño del examen se definieron sus objetivos, los 
contenidos y las tareas. Respecto al marco metodológico, los autores siguieron las fases 
propuestas por Bordón (2006). Según la autora existen cuatro fases necesarias para el diseño 
de un examen: la fase previa, la fase de diseño, la fase de experimentación y la fase de 
recapitulación. A continuación, decidieron los contenidos que formarían el examen. Para 
ello, usaron tanto el PCIC de los tres niveles (Al, A2 y Bl) como un análisis de necesidades. 
Asimismo, establecieron el procedimiento de realización del examen y redactaron las 
instrucciones y las pruebas. 

En este estudio el diseño de la prueba de CL realizada, consta de tres tareas con un 
nivel progresivo de dificultad, las cuales se enmarcan en los niveles Al, A2 y Bl. A la hora 
de redactar los ítems se tuvieron en cuenta las siguientes consideraciones: se debe evitar 
proponer textos que estén alejados de la realidad lingüística o del contexto; se deben obtener 
las respuestas a partir de la lectura e interpretación del texto evitando que se pueda llegar a 
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determinar las opciones o respuestas correctas por otros medios; y se debe garantizar que 
las opciones estén equilibradas en extensión y complejidad. Éstas deben tener el mismo tipo 
de estructura o ser todas diferentes. 


Esta investigación presenta aportes tales como los procedimientos de Bordón (2006), 
para el diseño de un examen de clasificación y muestra cómo a partir del PCIC, puede 
establecerse los contenidos de las tareas para evaluar la compresión lectora. El PCIC, las 
tareas evaluativas y las consideraciones que tuvieron para redactar los ítems son considerados 
en la presente investigación. 

En relación al trabajo titulado A case of Testing L2 English Reading For Class Level 
Placement, escrito por Anthony Green (2013), se describe cómo se diseñó un examen de 
clasificación de la CL, que tenía como objetivo asignar a los estudiantes en una clase de 
inglés del British Council. Para el desarrollo de este proyecto se tuvo en cuenta el propósito 
del examen y las consideraciones teóricas y prácticas que se deben sopesar a la hora de 
diseñar un examen. En el proceso de desarrollo se trabajó el marco socio-cognitivo de Weir 
(2005). 



Para desarrollar las tareas de clasificación de la CL, se consideraron los descriptores 
del MOER. De igual forma, para asegurar que las tareas que se emplearon fueran adecuadas 
para el nivel previsto, se prestó atención a las características contextúales tales como la 
longitud del texto, el léxico, la frecuencia estructural, el modo del discurso y el rango 
funcional; también fue necesario considerar cuidadosamente, el procesamiento cognitivo 
requerido por las tareas, para asegurarse de que iban a aproximarse a lo que los lectores hacen 
en entornos diferentes a los de prueba, cuando se involucran en diferentes tipos de lectura. 

Por otro lado, en el diseño de ítems de los niveles iniciales Al y A2, utilizaron 
respuestas múltiples y para los niveles intermedios y avanzados usaron rellenar huecos, 
emparejamiento y párrafos incrustados. Además, se insistió en las limitaciones de tiempo que 
debe tener un examen. Con respecto a la CL, el examen estaba diseñado para durar entre 20 
y 25 minutos. 
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Esta investigación nos ofreció aportes tanto a nivel metodológico como teórico, ya que 
presenta cómo se debe diseñar un examen de clasificación de la CL teniendo en cuenta los 
descriptores propuestos por el MCER y los postulados de Weir (la longitud del texto, el 
léxico, la frecuencia estructural, el modo del discurso, el rango funcional, etc) para la 
validación del examen que se diseñó. 


En relación con la investigación titulada Exploring Ways to Provide Diagnostic 
Feedback with an ESL Placement Test: Cognitive Diagnostic Assessment of L2 Reading 
Ability de Ah-Young (Alicia) Kim (2015), se demostró cómo un examen de clasificación 
podría ser utilizado no sólo para dar un puntaje y clasificar al alumno, sino que también fuera 
posible utilizarlo como diagnóstico de la capacidad de lectura en L2 de los estudiantes que 
ingresan a un curso de inglés como segunda lengua. 

En cuanto al procedimiento, cinco especialistas de contenido realizaron un examen de 
clasificación de la CL e identificaron los atributos requeridos para completar con éxito cada 
ítem del examen. Posteriormente estos se analizaron en una matriz Q que tenía cada ítem con 
un atributo, este tipo de modelo de diagnóstico cognitivo es llamado el modelo de fusión y 
se usó para diagnosticar las fortalezas y debilidades en CL en L2 de 1982 estudiantes. 


Esta investigación dio como resultado que diez de los principales atributos de lectura 
se encontraran en el examen de CL, incluyendo cinco atributos relacionados con el 
conocimiento lexical, cohesivo, oración, párrafo/texto y significado pragmático; cinco 
estrategias de lectura: la identificación del significado de la palabra, la búsqueda de 
información, skimming, resumen e inferencia, además de identificar las fortalezas y 
debilidades de los estudiantes. Esta información serviría a los administrativos y a los docentes 
para mejorar el plan de estudios relacionado con lectura y para elaborar los materiales. Sin 
embargo, este estudio no examinó el impacto pedagógico del diagnóstico cognitivo. 


Dicha investigación fue relevante, en cuanto ofreció aportes para el diseño del examen 
de clasificación de la CL que se realizó en nuestra investigación, ya que el examen mide 
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atributos que están relacionados con cada uno de los ítems, para que proporcione un 
diagnóstico con el que los profesores puedan trabajar para mejorar los procesos en el aula. 
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5. MARCO TEÓRICO 


Teniendo en cuenta que el objetivo de nuestra investigación fue diseñar un examen 
de clasificación de la CL en el centro de idiomas El, a continuación, dedicamos un apartado 
para mostrar los fundamentos teóricos de nuestro estudio, el cual tiene tres momentos: el 
primero, relacionado con la evaluación; el segundo, hace referencia a la evaluación de la 
comprensión lectora y el último con la validación de la prueba. 


5.1 La evaluación 

Dado el objetivo de nuestro trabajo investigativo, es necesario mencionar algunas 
características que debe tener toda evaluación para que cumpla con el propósito para el que 
fue diseñado. Bachman & Palmer (1996) mencionan que para desarrollar y usar cualquier 
evaluación se debe tener en cuenta la utilidad (usefulness ), la cual incluye seis características: 
fiabilidad, validez del constructo, autenticidad, interactividad, impacto y viabilidad. 



La fiabilidad garantiza que los resultados que arroja una prueba sean confiables y 
estables, es decir que minimice al máximo el efecto que pueden tener factores externos en el 
examen, como el cansancio o la motivación (Weir, 2005). Si un estudiante toma el examen 
hoy y luego lo vuelve a tomar mañana, los resultados deberían ser los mismos, asumiendo 
que sus habilidades no han cambiado (Alderson, 1998). 


Además, al diseñar o evaluar un examen se debe medir su validez, entendida como una 
característica del examen en donde se evidencia hasta qué punto una prueba mide lo que tiene 
que medir (Brown, 2005). En esta misma línea, Bachman (1990) menciona que se deben 
tener en cuenta la validez del contenido del examen, la validez de criterio y la validez de 
constructo, las cuales se refieren a la manera como el examen mide la habilidad evaluada, 
cómo se infieren los resultados del examen y cómo se mide el concepto evaluado. Sin 
embargo, Messick (1989) afirma que la validez no solamente tiene que centrarse en el 
examen en sí, sino también en las consecuencias que tienen los resultados del mismo. 
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Además de la validez y la fiabilidad, debemos tener en cuenta la autenticidad, es 
decir si la manera cómo se evalúa la lengua corresponde con su uso real (Weir, 2005). 
Bachman & Palmer (1996) afirman que la autenticidad de la prueba puede ser muy 
beneficiosa para los estudiantes que toman la evaluación, pero que hay que ser cauteloso al 
pensar en su autenticidad. Esto debido a que puede haber discrepancias entre los que toman 
el examen y los que diseñan la evaluación sobre qué tan auténtica es la lengua o las tareas 
propuestas. Para tratar de aumentar la autenticidad, Brown (2006, p.35) nos propone 
responder cinco preguntas al hacer el examen: 1. ¿El lenguaje utilizado en la prueba es lo 
más natural posible? 2. ¿Están todos los ¡temes de la prueba lo más contextualizados posible? 
3. ¿Las situaciones o los temas de la evaluación son interesantes, tienen algo de humor o se 
disfruta leerlos? 4. ¿Hay alguna organización temática? 5. ¿Son tareas que son del mundo 
real (o se aproximan)? 


Con respecto al concepto de autenticidad hay dos posiciones: la primera tiene que ver 
con la definición más tradicional, la cual hace referencia a materiales que no han sido 
diseñados para la enseñanza de lengua, es decir que son de origen real y genuino (Willis, 
1996). La segunda posición sugiere que la autenticidad debe radicar en la actividad de 
aprendizaje que se desarrolla con los estudiantes (Mishan, 2004). Esto porque un “estímulo 
auténtico” no necesariamente garantiza una respuesta auténtica de los estudiantes. Por lo 
tanto, la autenticidad es “producto de un proceso de autenticación con respecto al proceso de 
aprendizaje y la lengua utilizada” (Mishan, 2004, p.222), en el cual lo que se busca es que se 
creen condiciones auténticas de aprendizaje. 


Por otra parte, la interactividad es definida por Bachman & Palmer (2006) como “el 
alcance y la participación de las características individuales del estudiante para realizar su 
tarea” (p.25); es decir, cómo el conocimiento que tiene el estudiante de la lengua, de sus 
estrategias metacognitivas, entre otros, participan en la realización de la actividad. De igual 
manera, el impacto de la evaluación juega también un papel importante ya que los resultados 
de éste pueden afectar de manera individual, en la clase, en la sociedad o sistema educativo 
(Wall, 1997). 
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Finalmente, la viabilidad se refiere a la relación que existe entre los recursos 
disponibles y los recursos requeridos para hacer la evaluación (Neukrug & Fawcett, 2010). 
Dentro de los recursos que hay que tener en cuenta Bachman & Palmer (1996) mencionan el 
recurso humano, los materiales (espacio, equipos necesarios, el papel o computadores, etc.) 
y el tiempo (de diseño, de administración, de puntuación y análisis). 


Específicamente en el examen de clasificación que diseñamos, existe una gran tensión 
entre validez y viabilidad. Lo anterior obedece a que si bien la literatura expresa que la 
validez de los resultados de un examen de clasificación aumenta en la medida que el 
examinador posea más información para poder determinar el nivel del estudiante, el tiempo 
del que disponen los estudiantes para resolver la prueba de lectura es reducido, pues la 
escuela necesita clasificarlos de manera rápida y eficiente. Al tener en cuenta lo anterior se 
puede decir que hay un aspecto de tipo logístico que determina la duración de la prueba de 
comprensión de lectura, la cual según Green (2013) debe tomar alrededor de 25 minutos para 
que sea eficiente. 


Al respecto, Lam (2010) menciona el conflicto que existe entre un examen de 
clasificación ideal y las demandas de eficiencia y viabilidad que se deben tener en cuenta. De 
acuerdo con esta autora, la viabilidad siempre tiene prevalencia a la hora de diseñar un 
examen debido a que, al final, la pregunta que se tienen que hacer los examinadores no es 
cuál es el mejor examen en general, sino cuál es el examen más adecuado y viable para esa 
población específica. 


Ahora bien, al retomar el concepto de utilidad (usefulness), que es la suma de toda las 
características anteriores, es importante mencionar que las cualidades de la evaluación no se 
deben medir una a una, sino el efecto que tienen todas combinadas. Además, el balance de 
todas las características no puede ser prescrita, sino que debe ser evaluada para cada situación 
específica de evaluación (Bachman & Palmer, 1996). Por lo tanto, después de revisar estas 
características y teniendo en cuenta que El utiliza el enfoque comunicativo para la enseñanza 
del español, es necesario establecer la relación entre dicho enfoque y la evaluación. 
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5.1.1 Enfoque comunicativo y evaluación 


Como su nombre lo indica, el enfoque comunicativo tiene como base llevar a los 
estudiantes a desarrollar habilidades de la lengua que les permita comunicarse en contextos 
reales, es decir, la lengua es concebida como una herramienta de comunicación (Nunan, 
1989). Para Hymes (1995) la característica del enfoque comunicativo consiste en la 
elaboración de enunciados que tengan cohesión social, es decir enunciados gramaticalmente 
correctos y socialmente apropiados. Sin embargo, el autor dice que para esto no solamente 
se deben conocer las reglas gramaticales de una lengua, sino también el contexto en el que 
se desarrolla la comunicación. 

Por un lado, como el enfoque comunicativo se centra mayoritariamente en el 
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estudiante, al momento de evaluarlo se deben tener en cuenta sus intereses y habilidades. 

Entonces, debe primar el significado antes que la forma tal como lo afirma Ellis (2003), razón 

por la cual Nunan (2003) recomienda que al desarrollar material basándose en el enfoque 
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comunicativo, debemos tener en cuenta varios elementos: los principios que lo sustentan, 
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como ser llamativo y de interés para el estudiante. Además, debemos utilizar textos auténticos 
porque de lo contrario se pueden aminorar o eliminar pistas que ayudan a entender mejor el 
mensaje. Asimismo, al utilizar material auténtico y proponer tareas comunicativas el 
estudiante va a encontrar relación con lo que sucede en la vida real. Alvarez (2011) está de 
acuerdo con la utilización de dichos materiales porque imita actividades que se realizan por 
fuera del aula de clase, lo que contribuiría a su motivación. 

Por otro lado, es necesario definir un modelo de lengua, definido por McNamara 
(1996) como la descripción teórica de qué significa comunicarse en la segunda lengua, que 
incluye tres componentes. El primero es lo que significa saber una lengua, el segundo los 
factores externos que se relacionan con la destreza de comunicarse en otra lengua, y 
finalmente el uso real de la misma. Dicho esto, nuestra investigación se basa en el modelo 
de Bachman & Palmer (1996), los cuales afirman que lo más correcto es decir habilidad 
comunicativa de la lengua, debido a que es necesario hacer una distinción entre el 
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conocimiento que tiene el estudiante y su habilidad, lo cual no es muy explícito en la anterior 
definición. Además, debemos tener en cuenta la interacción entre diferentes componentes 
que están presentes en el momento de comunicarnos. Estos componentes son competencia 
en la lengua, es decir el conocimiento que se tiene de ella y de las características responsables 
de la comunicación; la competencia estratégica, que se refiere al conjunto de estrategias 
cognitivas que utiliza el estudiante y que se pueden relacionar con las microdestrezas 
utilizadas a la hora de comprender un texto (ver apartado Marco teórico, sección 5.2.1). Estos 
componentes están totalmente ligados al modelo de validación de la prueba de Weir (2005) 
utilizado en el presente trabajo (Ver apartado Marco teórico, sección 5.3). Además, para estos 
autores, lo afectivo juega un papel importante a la hora de ser evaluado ya que las 
experiencias pasadas determinan qué tan involucrados están los estudiantes en la tarea que 
están realizando. 

A continuación presentamos una descripción gráfica del modelo de Bachman & 
Palmer (1996). 


Figura 5: Modelo interactivo del uso de la lengua. Bachman & Palmer (1996) 
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A propósito de lo afectivo presente en el modelo anterior, Fulcher & Davidson (2007) 
mencionan que puede verse claramente en dos escenarios. El primero es aquel donde el tema 
del que se está hablando o leyendo es muy cargado para sus costumbres o creencias, entonces 
la interacción será nula. El segundo es un escenario donde el tema del que leen o hablan los 
involucra en la actividad y los motiva a hacerlo, entonces los estudiantes la harán más 
enérgicamente. En estos dos ejemplos podemos ver claramente cómo lo afectivo interactúa 
con la competencia de la lengua (para bien o para mal), por lo que el realizador de la 
evaluación debe ser muy sensible a esto. 

Ahora bien, después de mencionar el enfoque comunicativo y el modelo de lengua, fue 
primordial indagar acerca de su relación con el Marco Común Europeo de Referencia, puesto 
que este documento es imprescindible a la hora de desarrollar exámenes. 

'V' 

5.1.1.2 El Marco Común Europeo de Referencia (MCER) 

& 

El Marco Común Europeo de Referencia es un documento realizado por especialistas 
para brindar un fundamento común entre los países europeos para la realización de exámenes, 
programas y manuales de lengua, etc. (Consejo de Europa, 2002). Este documento brinda 
lincamientos generales en todo lo que tiene que ver con el proceso enseñanza-aprendizaje- 
evaluación, y aunque ha recibido muchas críticas y muchos teóricos han señalado sus 
deficiencias y limitaciones (Green, 2013; Alderson, 2005; McNamara & Roever, 2006; Weir, 
2005), sigue siendo un documento indispensable como punto de partida a la hora de realizar 
exámenes o desarrollar material de enseñanza de lengua. Como lo menciona Puig (2008), es 
un referente imprescindible tanto para planificar programas de lenguas y certificaciones 
como para fijar un punto de comparación y reconocer titulaciones emitidas en diferentes 
países. 


El MCER cuenta con dos dimensiones: la vertical y la horizontal. La vertical describe 
de manera global y parcial lo que debe hacer un estudiante y la manera cómo lo hace en cada 
uno de los niveles expuestos; por lo tanto permite que con base en esta dimensión se puedan 
realizar comparaciones de certificados de lengua entre instituciones alrededor del mundo. 
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Por su parte, la dimensión horizontal describe el aprendizaje y uso de lenguas extranjeras, así 
como las tareas y estrategias que subyacen al momento de producir y recibir textos orales y 
escritos (Puig, 2008). Es así como la suma de las dos dimensiones permite definir objetivos 
y criterios al momento de evaluar. 


Específicamente en lo que concierne a la comprensión lectora, el MCER nos brinda 
no solamente una escala general sobre lo que el estudiante debe leer y comprender en cada 
uno de los niveles, sino también ofrece diferentes escalas ilustrativas de la misma. Estas 


escalas son: leer correspondencia, leer para orientarse, leer en busca de información y argumentos, 


y leer instrucciones. Para efectos del presente trabajo, sólo tuvimos en cuenta la escala general, la de 
leer en busca de información y argumentos en los niveles Al y A2 y la identificación de las claves e 


inferencia oral y escrita (Ver apartado La creación del instrumento de evaluación, sección 


6.3.1.1). 


Tabla 1. 




Á 


O 


Escala general de nivel de comprensión general, (Consejo de Europa, 2002) 



Escala general de nivel de comprensión 

Al 

Comprende textos breves y sencillos sobre asuntos cotidianos si contienen 
vocabulario muy frecuente y cotidiano, o relacionado con el trabajo. 

Al 

Es capaz de comprender textos muy breves y sencillos, leyendo frase por frase, 
captando nombres, palabras y frases básicas y corrientes, y volviendo a leer cuando 
lo necesita 


Tabla 2. 

Leer en busca de información y argumentos, (Consejo de Europa, 2002) 



Leer en busca de información y argumentos 

A2 

Identifica información específica en material escrito sencillo, como, por ejemplo, 
cartas, catálogos y artículos breves de periódico que describan hechos determinados. 

Al 

Es capaz de captar el sentido en material escrito informativo sencillo y en 
descripciones breves y sencillas, sobre todo, si hay apoyo visual 
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Tabla 3. 

Identificación de las claves e inferencia (oral y escrita), (Consejo de Europa, 2002) 



Identificación de las claves e inferencia (oral y escrita) 

A2 

Sabe cómo utilizar una idea del significado general de textos y enunciados cortos 
que tratan temas cotidianos concretos para inferir del contexto el significado 
probable de las palabras que desconoce. 

Al 

No hay descriptor disponible 


Es indiscutible la importancia del MCER a la hora de diseñar cualquier examen de 
clasificación, pero principalmente en el caso de la comprensión lectora se queda corto a la 
hora de especificar la complejidad de la gramática o vocabulario que el estudiante debe 
entender en cada uno de los niveles, o el tiempo que se debe tardar en leer un texto. 

< 5 ° 

Del mismo modo, Green (2013) menciona que el MCER no presenta los procesos 
cognitivos que el estudiante utiliza a la hora de leer en cada uno de los niveles, cómo procesa 
un texto o el nivel de comprensión que debe alcanzar. Es por esta razón que decidimos 
incorporar el PCIC al momento de escoger la gramática, el vocabulario y tipo de texto que 
los estudiantes deberían leer en su prueba, así como el programa de El (Ver apartado La 
creación del instrumento de evaluación, sección 6). 

Adicional a esto, cabe mencionar la dificultad que se presenta a la hora de diseñar un 
examen de clasificación, debido a que el Marco no contempla ramificaciones entre los 
niveles, es decir Al. 1, Al .2, etc. Por esta razón, son los diseñadores de la prueba, en conjunto 
con los profesores y administradores del programa quienes deciden estas ramificaciones, 
teniendo en cuenta el programa y los materiales que se utilizan (Green, 2013) 
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5.1.2 Evaluación de la L2 

Debido al objetivo del presente trabajo investigativo, es indispensable definir qué es 
la evaluación de una lengua, los tipos de evaluación y de pruebas, y las características que 
debe tener toda evaluación. 

Para empezar, evaluar una lengua es definido por Chapelle & Brindley (2010) como 
“hacer inferencias de las capacidades de los estudiantes para utilizar la lengua con base en 
un desempeño observable por medio de procedimientos sistemáticos” (p.247). Por 
consiguiente, se pueden utilizar tanto métodos cualitativos como cuantitativos para recoger 
los datos necesarios. La evaluación se diferencia de la prueba o el examen en tanto es un 
proceso más amplio, el cual implica la toma de decisiones para mejorar los procesos que 
están tomando lugar. Además, es una herramienta para seguir aprendiendo y un instrumento 
que pennite la reflexión acerca de cómo mejorar la enseñanza (Martínez Torregrosa, Gil y 
Martínez Sebastián citados en Margaleg, Canabal, Muños y Urquizo, 2007). 

, , , • 

De igual forma, la evaluación nos suministra información sobre las fortalezas y 

debilidades de los estudiantes, sus intereses, los objetivos de la clase, la metodología que se 
usa, las actividades y materiales, etc. (Bachman & Palmer, 1996). Además, Salinas (2002) 

-co 

concuerda con este concepto de evaluación afinnando que con los resultados de esta podemos 
hacer una reflexión holística de lo que implica aprender una lengua y sus actores: los 
estudiantes, la institución y sus programas, función y desempeño del profesorado; es decir 
que es una “operación indisociable de todo proceso de enseñanza-aprendizaje” (Cesteros, 
2003, p.2) 

En este sentido, esta definición no está asociada con la concepción tradicional en la 
que se pensaba que para evaluar a un estudiante se debía diseñar un examen que fuera el 
centro de la enseñanza (Brown, 2005), es decir para que los estudiantes lo aprobaran al final 
de un curso o para asignar una calificación sin ninguna repercusión. Por lo tanto, es 
necesario utilizar diferentes herramientas para medir las destrezas de los alumnos, por lo que 
se deben realizar evaluaciones en donde el estudiante no tenga que marcar una respuesta 
correcta de gramática o llenar espacios ya que no es muy útil para medir sus habilidades de 
producción oral y escrita. Por el contrario, deben ser evaluados con actividades que simulen 


30 


una situación de la vida real en donde lo más importante es que los estudiantes sean asertivos 
en cuanto al acto de comunicación (MeNamara, 2000). 


5.1.2.1 Tipos de evaluación 

Existen diferentes tipos de evaluación dependiendo de su finalidad y propósito, las 
cuales son elasifieadas porFigueras & Puig (2013) en 8 tipos: 

Tabla 4. Tipos de evaluación. 


Tipos de evaluación 

Inicial 

Diagnóstica 

Certificativa 

Final 

Suniativa 

Formad va 

Continua 

Interna 


Descripción 


Tipos de evaluación 

Descripción 

Inicial 

Hace referencia al momento en el que se realiza, es decir, 
al comenzar un curso y tiene como finalidad facilitar 
información sobre el aprendiente. 

Diagnóstica 

-Tiene como objetivo identificar las fortalezas y 
debilidades del estudiante en relación al currículo o 
programa. 

- Permite áP profesor detectar las necesidades de su 
estudiante. 

Certificativa 

Consiste en dar un juicio sobre los conocimientos y 
competencias de un estudiante en específico. 

Final 

Hace referencia al momento en el que se realiza para medir 
los conocimientos adquiridos durante el curso 

Sumad va 

-Es la acumulación de datos a lo largo del proceso de 
aprendizaje. 

-Mide los resultados de lo estudiado en un periodo 
determinado 

Formad va 

-Es una medición continua y sistemática de forma 
cualitativa. 

-Se caracteriza por utilizar distintos instrumentos y por 
usar los resultados para mejorar el proceso de los 
estudiantes. 

Continua 

Es la contraposición de la evaluación final y tiene en 
cuenta lo que sucede en el aula de forma constante y 
prolongada. 

Interna 

Se centra en el mejoramiento de la institución y no en la 
de los estudiantes. 
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Externa 


Se genera desde fuera del centro educativo y los resultados 
de esta evaluación generan políticas educativas. 


Sin embargo, no es suficiente con reconocer los diferentes tipos de evaluación, además 
de esto es fundamental reconocer los diferentes tipos de prueba que existen según el objetivo 
que se tenga y el momento en el que se aplica. Estas pruebas son clasificadas por Brown 
(2006) de la siguiente manera: 


Tabla 5. 

Tipos de prueba. 


Proficiencia 

• Mide las habilidades del estudiante en una lengua sin 
tener en cuenta un programa o currículo específico. 

Diagnóstico 

• Se miden las fortalezas ydebilidades del estudiante. 

Clasificación 

»_ á 

•Su propósito es situar a un estudiante en un nivel 
determinado en relación con un programa de lengua 



De logro 

• Está relacionado directamente con las habilidades y los 
temas vistos durante la clase 

De aptitud 

• Se predice si un estudiante tendrá éxito o no en el curso 
por medio de la medición de los conocimientos 


En el caso específico del presente trabajo se diseñó un examen de clasificación para 
determinar en qué nivel se ubicaría mejor cada estudiante en relación con su nivel de 
comprensión lectora. 

5.1.2.2 Exámenes de clasificación 

Dado que nuestro propósito fue construir un examen de clasificación de la CL, se 
hizo fundamental concentrarse en este tipo de prueba. 
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Como su nombre lo indica, el examen de clasificación es una evaluación inicial que 
mide cuál es la competencia de un estudiante en una lengua para poder así ubicarlos en un 
curso o clase apropiada (McNamara, 2000). Por lo tanto, se debe hacer un examen de 
clasificación al entrar a cualquier programa de lengua porque de esta manera se agrupan las 
personas que tengan habilidades lingüísticas similares para poder tener el grupo más 
homogéneo (en la medida de lo posible). 

Para poder hacer dicha clasificación se deben tener en cuenta los objetivos, los 
materiales y la metodología con el fin de determinar cuál es el nivel dentro de ese programa 
específico y agrupar a los estudiantes (Alderson, 2000). Esto debido a que las habilidades o 
lo que se está midiendo debe concordar con las destrezas que se desarrollarán en cada 
programa específico, así como aquellas destrezas que necesitarán en su vida cotidiana 
(Brown, 1984). De este modo, un examen de clasificación será válido en tanto mida las 
características clave en cada uno de los niveles de la institución (Hughes, 2003). Sin embargo, 
la mayoría de los exámenes de clasificación o son hechos por editoriales o empresas externas 
al programa, o son sacados del libro que se utiliza (Brown, 1989). 

<s^ 

Por otro lado, los exámenes de clasificación siempre se han visto como low-stake 
tests, es decir que con base en los resultados que obtiene el estudiante no se tomarán 
decisiones importantes, serias o irreversibles porque simplemente se puede mover de nivel 
una vez haya comenzado su curso (Hughes, 2003). Sin embargo, los examinadores y 
profesores deben tener mucho cuidado a la hora de clasificar un estudiante porque si se 
cometen errores, este puede perder su motivación o incluso retirarse del curso al que aplicó 
porque no satisface sus necesidades (Green, 2013). 

Después de presentar las generalidades de la evaluación en L2, es necesario indagar 
acerca de la evaluación de la comprensión lectora. 

5.2. Evaluación de la comprensión lectora 

Evaluar la CL no es tarea fácil, especialmente porque no podemos ver el proceso que 
está haciendo el estudiante en su cerebro, razón por la cual se debe llevar a cabo por medio 
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de inferencias sobre lo que se supone ha comprendido el estudiante (Brown, 2004). Además, 
al leer en una lengua extranjera se presentan diferencias de todo tipo con respeto a su lengua 
materna, desde diferencias lingüísticas, de procesamiento, hasta socioculturales, 
institucionales y educativas (Grabe, 2009). 


Ahora bien, si el lector sabe que lo que está leyendo es una carta, él sabrá que hay un 
emisor, que al principio de la carta aparece el nombre de un receptor, la fecha y el saludo, 
luego el motivo de la carta y detalles del mismo. De esta forma, el estudiante sabrá cuál es el 
propósito del texto y qué estrategias utilizar a la hora de leerlo, cómo retener la información 
y dónde encontrarla. Respecto a esto, Brown (2004) afirma que al evaluar la CL hay que 
tener en cuenta diferentes factores, como estrategias para la comprensión y conocimiento que 


se tiene de convenciones de los diferentes géneros. Es por esto que el autor menciona tres 


ámbitos de lectura: el académico, el personal y el relacionado con el trabajo. 


Tabla 6. 

Ambitos de la lectura. Brown (2004) 


Ámbito académico 

Ensayos, tesis, artículos de interés general, artículos profesionales, 
libros de textos, editoriales y papeles de opinión, etc. 

Lectura personal 

Periódicos, cartas, correos electrónicos, invitaciones, literatura en 
general, cuestionarios, reportes médicos, caricaturas, horarios, recetas, 
menús, anuncios y publicidad, etc. 

Lectura relacionada 
con el trabajo 

Correos electrónicos, memos, aplicaciones, cuestionarios, facturas, 
manuales, directorios, mensajes, reportes, etc. 


A propósito de los ámbitos, el MCER también los menciona, pero hace su propia 
clasificación: 1. Ambito personal: el que se centra en su familia y amigos, la lectura se hace 
por placer. 2. Ambito público: se lee para hacer transacciones, la persona actúa como 
miembro de una sociedad. 3. Ambito profesional: se da en el desarrollo de la profesión de la 
persona. 4. Ambito de aprendizaje: la persona participa en algún tipo de organización para 
aprender. 

Lo anterior fue importante para el diseño de nuestra evaluación de CL debido a que 
el género a evaluar juega un papel importante a la hora de establecer la validez de la 
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evaluación. Por ejemplo, si en el curso de español de turismo los estudiantes estudiaron cómo 
reservar un hotel, su evaluación deberá incluir mapas, guías turísticas, calendarios, etc. 
Específicamente en el diseño de la prueba de CL se decidió abordar únicamente en ámbito 
personal porque es el más recurrente en los niveles Al y A2. 

Además de esto, es recomendable tener en cuenta los tipos de lectura para poder así 
escoger y organizar mejor las tareas. En relación con lo anterior, Brown (2004) afirma que 
así como la multiplicidad de géneros es relevante a la hora de evaluar la comprensión lectora, 
los tipos de lectura también cumplen un papel importante. Así pues, el autor nos presenta 
cuatro tipos de lectura: 


a 


b. 


c. 


Lectura perceptiva: Es la que se relaciona mayoritariamente con la lectura ascendente 
(bottom-up), es decir cuando el estudiante presta atención a cada elemento que está 


leyendo: las letras, las palabras y la puntuación hacen parte de la lectura perceptiva. 
Estiyowati (2013) menciona que la lectura perceptiva se puede evaluar con ejercicios 
de lectura en voz alta, o presentándole al estudiante una imagen y varias opciones que 

.cr 

describan la imagen con pequeños cambios en la escritura y puntuación. 

Lectura selectiva: Es en la que se mide la gramática, el léxico o características 
discursivas. Preguntas de falso y verdadero, de selección múltiple o de relacionar son 
las más frecuentes. Aquí los estudiantes utilizan tanto el procesamiento ascendente 
(bottom up) como el descendente (top down). 

Lectura interactiva: es en la que se interactúa con la lectura con el fin de que se 
negocie el significado, cuyo intake será la interacción del texto con la persona y sus 
conocimientos previos. La lectura interactiva se utiliza principalmente para 
identificar conocimientos lexicales, gramaticales, simbólicos y discursivos, y los 
ejercicios típicos son fragmentos extraídos de un texto más largo como cuestionarios, 
recetas, anécdotas, etc. Estiyowati (2013) también menciona como ejemplos de 
lectura extensiva preguntas después de leer un texto, actividades para ejercitar la 
lectura de exploración (scanning) en los estudiantes, ordenar los eventos de la 
narración, de transferencia de información (en diagramas, mapas, calendarios, etc.) 
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d Lectura extensiva: es en la que se verifica que los estudiantes comprendan el sentido 
global del texto y no fijarse en los detalles. Esta lectura se hace mayoritariamente con 
procesamiento de arriba abajo (top down). Hacer un resumen, tomar notas de lo que 
se lee o hacer un esbozo son las actividades más recurrentes. 


Por su parte, para Khalifa & Weir (2009) hay que tener en cuenta dos dimensiones a la 
hora de hablar de los tipos de lectura: el alcance de la comprensión y el ritmo de lectura. En 
cuanto al alcance de la comprensión, nos parece importante mencionar que existe una lectura 
local, en la cual el estudiante solo tiene que entender frases o palabras, es decir la 
microestructura del texto. Por el contrario, existe una lectura global en donde el estudiante 
debe entender el sentido general del texto (macroestructura). De igual manera, el ritmo de 
lectura se divide en dos: la lectura rápida y la cuidadosa. En la lectura rápida, como su nombre 

lo indica, se hace un barrido selectivo y eficiente del texto. Para esto, el tipo de texto y el 

Q' 

tema deben ser familiares para el estudiante. Por el contrario, la lectura cuidadosa no es 
selectiva sino pausada y minuciosa. Este tipo de lectura puede tener un alcance global o local, 
pero tiene la particularidad que los temas que trata son complejos y desconocidos para el 
lector. 

¿y 

Una vez abordadas las dificultades de evaluar la comprensión y los diferentes factores 
que tuvimos que tener en cuenta como las estrategias para la comprensión, los diferentes 
géneros, los tipos de lectura y sus dimensiones, consideramos que es importante dedicar 
especial atención a definir cómo se entiende la comprensión lectora en el presente trabajo. 


5.2.1 La comprensión lectora 


La palabra leer proviene del latín legere, que significa juntar, recolectar, adquirir un 
fruto, por lo que al leer se le “otorgan significados a hechos, cosas y fenómenos y mediante 
el cual también se devela un mensaje cifrado” (Sastrías, 1997, p.2). Sin embargo, leer y 
comprender lo que se está leyendo es un proceso mucho más complejo que develar el 
significado de las palabras. 
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En este orden de ideas, existen diferentes posiciones acerca de lo que significa que 
una persona sea capaz de leer. Al respecto, se encontraron tres posiciones principales. La 
primera entiende la comprensión lectora como una sola habilidad en la cual se ven reflejados 
diferentes niveles de comprensión, como lo son leer líneas (significado literal), leer entre 
líneas (hacer inferencias) y leer más allá de las líneas (evaluación crítica del texto) (Gray, 
1960; Oller, 1979; Kintsh & Yarbrough, 1982, mencionados por Alderson, 2000). La 
segunda posición entiende la habilidad de la comprensión lectora como una serie de 
microdestrezas que se activan de manera simultánea y se sobreponen una a la otra (Alderson, 
1991). Finalmente, la tercera posición y como se entenderá la comprensión lectora en el 
presente trabajo, es la utilización de una serie de microdestrezas específicas, las cuales son 
escogidas o activadas dependiendo del tipo de texto, el propósito de la lectura, etc. (Brown, 
2004; Figueras & Puig, 2013; Weir, 2013). Se optó por esta perspectiva debido a que se 
encontró mayor recurrencia en distintos autores que concordaban con esta perspectiva, por 
lo que se encontraron más investigaciones al respecto. 

Asimismo, al clasificar las habilidades de los estudiantes en lengua extranjera se han 
mencionado tradicionalmente dos categorías: las habilidades receptivas y productivas, en la 
cual la comprensión lectora siempre ha sido encasillada como receptiva y pasiva (Carrel & 
Grabe, 2010). No obstante, la comprensión de un texto es un proceso totalmente activo en 
donde el lector no solamente recibe información, sino que también la decodifica para 
producir un significado personal del texto (Carell & Grabe, 2010). Al respecto, existen dos 
posiciones sobre cómo las personas entienden un texto. La primera es la bottom-up (de abajo 
hacia arriba), la cual considera que para poder entender un texto hay que entender las palabras 
que se encuentran en éste, por lo que el estudiante debe decodificar el texto desde lo 
morfológico, semántico y pragmático (Gough 1972, citado por Alderson, 2000). Sin 
embargo, también existe la perspectiva de arriba hacia abajo o top down en donde el 
significado de la lectura no está en las palabras que lo componen, sino en la interpretación 
que cada individuo le da dependiendo de sus conocimientos previos, es decir que el lector 
genera hipótesis sobre el tema de la lectura y a medida que se avanza en esta las va 
reformulando o confirmando. A propósito de esto, Puig et al. (2010) afirman que no hay 
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manera de explicar la comprensión de un texto con base en una de estas posiciones, sino en 
la combinación de los dos. 

Cabe resaltar que en la literatura existen diferentes posiciones con respecto al uso de 
la palabra destreza o habilidad y estrategia. Para los autores Urquhart & Weir (1998) la 
destreza o habilidad es entendida como aquella predisposición natural e inconsciente para 
llevar a cabo una tarea de cierta manera; diferente a la definición de estrategia, que para 
Alderson (2000) implica que la persona sea consciente de cómo desempeñará la tarea. 
Purpura (1999) hace una distinción entre las dos, aunque menciona que una estrategia puede 
convertirse con el tiempo en destreza, ya que el estudiante la utilizará de manera automática. 
Para efectos de la investigación, utilizamos las palabras (micro) destreza o (micro) estrategia 
indistintamente. 

Ahora bien, después de establecer que leer significa utilizar una serie de destrezas, es 
necesario precisar cuáles son las principales microdestrezas utilizadas a la hora de leer y 
evaluar la comprensión. A propósito de esto, se debe mencionar que así como los teóricos no 
llegan a un consenso acerca de qué significa leer, tampoco se ha establecido de una única 
manera las microdestrezas utilizadas en la comprensión lectora (Alderson, 2000). A 
continuación se presenta un cuadro donde se muestra diferentes posiciones acerca de las 
microdestrezas que se deben tener o desarrollar a la hora de comprender un texto según 
diferentes autores: 


Tabla 7. 

Cuadro comparativo de microdestrezas (elaboración propia). 


Brown (2001) 

Jang (2005) 

Khalifa & Weir 
(2009) 

Figueras & Puig 
(2013) 

Kim (2015) 

Skimming 

Comprender la 
información a nivel 
global 

Comprender la idea 
general del texto 
{skimming) 

Comprender la idea 
general del texto 
( skimming ) 

Comprender la idea 
general del texto 
{skimming) 

Hacer 

inferencia/suponer el 
significado de las 

palabras por el 

contexto 

Deducir significado de 
las palabras por 
contexto 

Lectura local 

cuidadosa 

Inferir el 

significado de las 
palabras en 

contexto. 

Hacer inferencias 

Scanning 

Inferir el propósito o 
argumento del autor 

Encontrar 
información 
específica ( search 
reading-scanning ) 

Identificar detalles e 
información 
específica 
{scanning). 

Encontrar 

información 

específica 

{scanning) 
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Identificar marcadores 

Deducir significado de 

Determinar la 

Resumir 

de discurso 

las palabras sin 

función 



contexto 

comunicativa del 
texto. 


Activar schemata para 


Comprender ideas 

Identificar e 

interpretar textos 


principales y 

significado de una 



distinguirlas de las 

palabra 



secundarias. 

Reconocer 1 

actitud del autor. 


De esta manera, después de hacer una revisión de la literatura y de identificar las 
microdestrezas más recurrentes, se estableció que las más relevantes cuando se lee son: 1. 
Skimming 2. Scanning 3. Hacer inferencias. 

Por otro lado, Carrell & Grabe (2010) enfatizan en la complejidad de la comprensión 
lectora, especialmente para estudiantes de una lengua extranjera debido a que ellos no tienen 
el mismo conocimiento de la cultura en la que está escrito el documento, ni los recursos 
lingüísticos que un nativo posee, entre otros factores. Brown (2004) coincide en la 
complejidad de la comprensión lectora debido a que los estudiantes extranjeros deben 
aprender, entre otras cosas, sobre la cultura meta e información de fondo (background 

'p 

Information ) para que puedan hacer una comprensión precisa de lo que se está leyendo. 

De acuerdo a lo expuesto anteriormente sobre la comprensión lectora, es pertinente 
mencionar el tipo de tareas a las que se enfrentarán los estudiantes en la prueba diseñada. 

5.2.2 Tareas 

En el caso específico del diseño de la evaluación de nuestra investigación, 
consideramos lo que iban a leer los estudiantes y qué harían con esa lectura. Además, tuvimos 
en cuenta que los exámenes de lectura no solamente se utilizan para predecir la lectura en la 
vida real, sino también para diagnosticar qué tan bien el estudiante lee o qué tanto ha 
desarrollado su competencia en la comprensión lectora. Autores como Bachman (1990) y 
Weir (2000) defienden la idea de utilizar, al igual que en la enseñanza, tareas en las que se 
pueda examinar diferentes situaciones del uso de la lengua y que se pueda replicar lo que 
queremos medir. Dichas situaciones deben quedar explícitas en las tareas, las cuales son 
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definidas por Alderson (2000) como aquellas actividades pedagógicas con las que se puede 
comparar y enmarcar la vida real en la evaluación. 

Así pues, Bachman & Palmer (1996), citado en Alderson (2000) nos presentan las 
características que debe tener cualquier tarea en una evaluación: 

1. Características del escenario: la familiarización que tienen con los materiales que se utilizarán 

(que en este caso es papel), los participantes que son todos los involucrados en la evaluación 
y la hora en que se toma el examen. 

2. Características de la rúbrica de la evaluación: 

a. Instrucciones: en qué lengua se escribe (L1 o L2), el canal (visual o auditivo), y 
especificaciones de los procedimientos y las tareas (el largo de las instrucciones, si se da 
ejemplo o no, o si cada tarea tiene su propia instrucción o solo es una para toda la evaluación) 

b. Estructura: número de partes o tareas, secuencia de las partes o tareas, importancia 
relativa de las partes o tareas, número de tareas y de ítems. 

c. Tiempo disponible para la tarea: muchos examinadores escogen que cuando el 90% 
de los estudiantes hayan terminado el examen, es el mejor tiempo para finalizarlo, aunque 
otra opción es escoger que no haya un tiempo límite sino que cada estudiante decida en qué 
momento quiere finalizar. 

d. Método de puntuación/calificación: en los exámenes de lectura no muy 
frecuentemente se les hace explícito a los estudiantes los criterios de la evaluación porque 
los estudiantes infieren que deben responder por lo que dice el texto y no por su conocimiento 
previo, así no estén de acuerdo con lo que se lee. 

3. Características del input: 

a. Formato: canal (visual, auditivo o ambos), forma (con fotos, diagramas, etc., o sin 
ellos), lengua (L1 o L2), el largo (una sola frase o palabra, lista de palabras, un párrafo, una 
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página, etc.). Todo depende del tiempo que se ha dispuesto, los objetivos y temas del examen, 
el ámbito en el que se enmarca la lectura, tipo de lectura, grado de rapidez (ritmo en el que 
el estudiante debe procesar la información) 

b. Presentación del input: características de lengua (las preguntas deben tener un 
lenguaje más sencillo que el texto), características en la organización, gramática (sintaxis, 
vocabulario, grafología), textual (cohesión, retórica), lo sociolingüístico (dialecto o variedad, 
registro, naturalidad, referentes culturales y lenguaje figurativo). 

c. Características del tema, es decir si es del ámbito personal, cultural, académico o 
técnico. 

4. Características de la respuesta esperada: 

a. Formato: canal (oral o escrito), forma (lo que dice o no dice), lengua (L1 o L2), el 
largo, tipo (de selección, de producción corta, de producción extendida) y grado de rapidez. 

b. La lengua esperada en la respuesta: si el estudiante toma cada palabra del texto 
para responder o parafrasea. 

rF 

Es importante mencionar que para asegurar que las tareas que se emplean sean 
adecuadas para el nivel previsto, se deben tener en cuenta algunas características 
contextúales. Green (2013) afirma que la longitud del texto, el léxico, la frecuencia 
estructural, el modo del discurso y el rango funcional son algunas de esas características. 
También es necesario considerar cuidadosamente el procesamiento cognitivo requerido por 
las tareas para asegurarse de que van a aproximarse a lo que los lectores hacen en entornos 
que no son de prueba cuando se involucran en diferentes tipos de lectura. 

Además, Pozzo (2013) resalta la dificultad de escoger los textos para las tareas debido 
a que pueden caer en el marco de los estereotipos acerca de una cultura o país, pueden tratar 
un tema de forma reduccionista o sesgada. Por esta razón, en nuestro examen utilizamos 
temas actuales y de interés de los cuales pensamos que era posible que los alumnos tuvieran 
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conocimiento previo, así como lecturas sin estereotipos, especialmente los que conciernen a 
Hispanoamérica. De igual forma, los textos que escogimos para nuestra evaluación son 
asequibles y posibles en todas las culturas, y están libres de referentes culturales específicos 
y de conjeturas acerca de los colombianos o alguna comunidad en particular. 

Ahora bien, después de considerar las características de las tareas del examen, es 
necesario explicar los tipos de preguntas más adecuados para cada una de ellas. 

5.2.3 Tipos de preguntas 

Al diseñar cualquier examen se deben tener en cuenta diferentes aspectos con relación 
a cada ítem, como por ejemplo si son objetivos o subjetivos, si son directos o indirectos, si 
van a ser de puntos discretos o no. 

Para empezar, se debe establecer si la corrección de los ítems va a ser subjetiva u 
objetiva. Como su nombre lo indica, la corrección subjetiva de los ítems implica que el 
examinador haga juicios de valor de acuerdo con las diferentes respuestas con las que se 
pueda enfrentar para darle así una puntuación (Alderson et al., 1995). Por su lado, en la 
evaluación objetiva las respuestas están previamente establecidas, por lo que el examinador 
debe establecer el número de respuestas correctas con la ayuda de una plantilla, sin que 
intervenga algún juicio adicional (Consejo de Europa, 2002). 

Luego, se debe determinar si se harán ítems directos o indirectos. En el caso de la 
investigación tuvimos en cuenta ítems indirectos debido a que el desarrollo de preguntas 
directas en un examen de comprensión no es posible en la medida que “no se puede evaluar 
directamente la comprensión de una persona, sino que indirectamente por medio de preguntas 
de falso verdadero o selección múltiple se ven evidencias de la comprensión” (Consejo de 
Europa, 2002 p.187). 

Finalmente, se debe establecer si los ítems serán cerrados o abiertos, es decir si los 
estudiantes deben marcar una respuesta dentro de múltiples opciones, o si por el contrario 
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deben escribir toda una respuesta de acuerdo a lo que ellos consideren. Debido al escaso 
tiempo que tienen los estudiantes para responder las preguntas, los ítems se diseñaron de tipo 
cerrado. Figueras & Puig (2013) proponen una tipología de los ítems cerrados: 

Tabla 8. 

Tipología de ítems. Tomado de Figueras & Puig (2013, p.92) 


Tipología de ítem 

Ventajas 

Desventajas 

Verdadero/falso 

Relativamente fáciles de 
redactar. Proceso cognitivo 
realista 

El azar tiene un papel 
importante (50%) 

Respuesta múltiple 

Evaluación de un ámbito 
amplio de conocimiento, lo 
cual repercute en la validez 
y fiabilidad 

Difíciles de elaborar. Los 
distractores deben ser 
consistentes. Proceso 
cognitivo distinto al real 

Relacionar (texto-título) 

Evalúa normalmente la idea 
principal. Fáciles de 
elaborar 

Un emparejamiento 
incorrecto condiciona todas 
las respuestas. A medida 
que se avanza la resolución 
se vuelve más sencilla 

Ordenamiento 

Evalúa la cohesión y 
coherencia del texto 

X' 

Posibilidad de más de una 
opción correcta. A medida 
que se avanza la resolución 
se vuelve más sencilla 

Integración de un fragmento 
en un texto 

Evalúa en sentido amplio. 
Comprobación real de la 
comprensión 

< 

Un número limitado de 
textos ofrecen la posibilidad 
de redactar este tipo de 
ítems 

Transferencia de 
información 

Proceso cognitivo 
semejante al real. 
Proporcionan mucha 
información sobre la 
comprensión 

La transferencia debe ser 
textual para que sea 
respuesta cerrada 


Ahora bien, vale la pena mencionar que entre las opciones que tiene el estudiante 
solamente debe haber una respuesta correcta, por lo que las demás respuestas son 
denominadas distractores. Al desarrollar los ítems, Brown (2004) recomienda que los 
distractores sean posibles pero incorrectos, aunque aclara que no deben ser lingüísticamente 
incorrectos, sino que no deben ser plausibles. Además menciona que el uso de la lengua de 
los ítems sea más simple que el texto, que el largo de todas las opciones sea similar, que todas 
las opciones estén basadas en el texto, que las opciones sean totalmente verdaderas o 
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totalmente falsas, que el orden de las respuestas correctas no sea previsible y que sean 
gramaticalmente correctos. 

Después de definir las características de los ítems, presentaremos lo que se midió en 
el examen de clasificación. 

5.2.4 Criterios de evaluación 

En concordancia con el modelo de lengua de Bachman & Palmer (1996), escogimos los 
atributos que iban a ser medidos en el examen de clasificación. Los atributos son “el 
conocimiento o las destrezas que el estudiante debe tener para poder desarrollar cada ítem 
del examen” (Kim, 2015, p. 228). Medir los conocimientos de los estudiantes por medio de 
atributos tiene como ventaja que podemos determinar cuáles son sus fortalezas y debilidades 
al ver las respuestas correctas que este obtuvo. Sin embargo, debemos escoger de manera 
concienzuda los saberes y destrezas que el estudiante debe tener para responder 
satisfactoriamente la prueba. 



Para escoger los conocimientos que deben tener los estudiantes al realizar una prueba de 
comprensión lectora, tuvimos en cuenta a Kim (2015), a Sawaki et al. (2009) y a Jang (2005), 
quienes concuerdan que hay 3 tipos de conocimiento implicados en la comprensión de textos: 
conocimiento del significado lexical, conocimiento del significado de la oración y 
conocimiento del significado del párrafo o texto. El primero se refiere al conocimiento 
semántico de palabras específicas, el segundo a conocer el significado de toda una oración y 
el último de todo el párrafo. Paralelamente, escogimos las microdestrezas de skimming, 
scanning y hacer inferencias. (Ver apartado Marco teórico, sección 5.2.1) 

Henson & Templin (2009) resaltan la necesidad de escoger muy bien los atributos a 
evaluar, debido a que se pueden obtener resultados que no le digan nada al examinador acerca 
de las destrezas o conocimientos del estudiante. Para esto, los autores recomiendan tener en 
cuenta las siguientes preguntas: 1. ¿Estoy tratando de medir muchos atributos? 2. ¿Son los 
atributos muy similares? 3. ¿He especificado muchas destrezas en un solo ítem? 
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Después de que escogimos los atributos que evaluamos en el examen, determinamos 
y validamos con expertos externos los atributos que se medían en cada uno de los ítems como 
lo recomiendan los autores. Esto debido a que la escogencia de los atributos podría estar 
sesgada por nuestras creencias de diseñadoras de la prueba. 

5.2.4.1 Definición de estándares para definir los puntos de corte 


Después de que definimos los objetivos del examen, el número de tareas e ítems 
que debía tener el examen, establecimos cómo se clasificarían los estudiantes con base en los 
resultados que pudieran obtener. El hecho de precisar los puntos de corte fue muy importante 
en la medida que con base en los resultados que obtengamos se definirán las acciones que se 
tomarán con cada estudiante. Cabe aclarar que a los estudiantes se les deben evaluar o 
clasificar teniendo en cuenta el número de tareas que se completen satisfactoriamente 


(Brown, 2004). 


Para esto, consultamos el Manual para relacionar la evaluación con el MCER 
(Consejo de Europa, 2003), el cual concuerda con Brown en que se deben establecer 
estándares (standard setting) para definir los puntos de corte de un examen, es decir si lo 
aprueba o lo reprueba, o en nuestro caso si se clasifica en un nivel u otro. Sin embargo, no 
utilizamos ninguno de los métodos descritos en este manual debido a que todos involucran 
el desarrollo de pruebas estadísticas con relación a la probabilidad que el estudiante tiene, 
haciendo estudios detallados por pregunta en donde se confrontan el nivel de desempeño 
entre un nativo y no nativo en cada una de las preguntas, la dificultad del ítem, entre otros. 
Dicho de otra forma, esta manera de definir los puntos de corte no sería conveniente en la 
medida que el objetivo de la investigación es diseñar una parte del examen de comprensión 
de lectura y no la totalidad de la prueba con todas las habilidades incluidas, aunque sí 
recomendamos que al finalizar todo el examen de clasificación se realice un estudio riguroso, 
sopesando el número de ítems que tenga cada destreza con su dificultad, probabilidad de 
tenerla correcta, etc. 
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En ese sentido, optamos por el método de la gradación de los ítems, el cual es definido 
por Gonzalo & Martin (2010) como un procedimiento para clasificar a los estudiantes que 
consiste en que el diseñador de la prueba establezca un porcentaje mínimo para poder ser 
clasificado en un nivel. A propósito de esto los autores mencionan que generalmente se cree 
que el punto de corte para clasificar a un estudiante es si éste obtuvo el 50% de respuestas 
acertadas. No obstante, los autores recomiendan que el estudiante obtenga entre el 65 y 70% 
mínimo de respuestas correctas para ser clasificado en un nivel. (Ver apartado La creación 
del instrumento de evaluación, sección 6.3.2.4) 

5.2.4.2 Matriz Q 


Además de determinar el nivel en el cual se encuentra el estudiante, un examen de 
clasificación debe dar cuenta de sus debilidades y fortalezas para que de esta manera el 
profesor pueda enfocarse en sus necesidades particulares (Alderson, 2000). 


Por esta razón, determinamos que se debía utilizar un complemento al método de 
la gradación de los ítems que pudiera ser utilizado en el futuro para interpretar los resultados 
obtenidos por parte de los estudiantes. El complemento que se escogió fue el uso de una 
matriz Q, la cual es definida por De la Torre (2009) como un modelo de diseño que identifica 
explícitamente la especificación cognitiva de cada ítem y representa los componentes 
cognitivos necesarios para responder a los ítems de la prueba. Este tipo de matriz transforma 
los estados de conocimiento que no son observables en patrones de respuesta a los ítems que 
sí son observables, a través de una matriz de información binaria (Tatsuoka, 1990). 


Esta matriz muestra información tanto en la parte vertical como en la horizontal. En 
la parte vertical se encuentra el número de ítems del examen y en la parte horizontal los 
atributos (conocimientos y destrezas) que mide la evaluación. Así pues, como no todos los 
ítems miden todos los atributos, lo que permite la matriz Q es establecer cuáles atributos 
corresponden a cada ítem por separado, por lo que al momento de identificar cuáles preguntas 
respondió correctamente el estudiante, inmediatamente se sabrá qué conocimiento o 
microdestreza domina. Por esto, al realizar la matriz Q se debe poner el número 1 si la 


46 


pregunta incluye el atributo mencionado o 0 si no. Henson & Templin (2009) explican la 
matriz Q con el siguiente ejemplo, suponiendo que lo que se evaluará son matemáticas 
básicas: 


Tabla 9. 

Matriz Q. Tomado de Henson & Templin (2009) 



Suma 

Resta 

Multiplicación 

División 

2+3-1 

i 

i 

0 

0 

4/2 

0 

0 

0 

1 

(4x2)+3 

1 

0 

1 

0 


Como podemos observar en la tabla anterior, para responder cada uno de los ítems no 
es necesario el conocimiento de todos los atributos. Para el primer ítem, el estudiante sólo 
deberá utilizar sus conocimientos de suma y resta, por lo que debajo del atributo se escribe 
un 1. En este caso específico, el estudiante no requiere utilizar su atributo de multiplicación 
o división, así que se pone el número 0 indicando esta información. 

<<^ 

Lee & Sawaki (2009) mencionan la importancia que tiene esta matriz a la hora de 
desarrollar investigaciones debido a su capacidad diagnóstica y por su solidez teórica y 
empírica. Desde nuestra mirada, es una herramienta muy útil que brinda a los examinadores 
información detallada acerca de las destrezas y conocimientos que tiene un estudiante. De 
hecho, después de que la totalidad del examen diagnóstico esté terminado, se puede utilizar 
la matriz Q para establecer los estándares para clasificar a un estudiante en un determinado 
nivel. 
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5.3 La validación de la prueba 


Después de realizar cualquier evaluación, es necesario hacer la validación de 
la misma, es decir, llevar a cabo un proceso donde se determine si la prueba evalúa lo que se 
propone (McNamara, 2000). Para esto, se debe hacer una revisión no solo de la prueba en sí 
(claridad en las instrucciones e ítems, el formato de la prueba, etc.), sino también de los 
contenidos del examen y de su puntuación (Alderson et al., 1995). A propósito de esto, el 
Centro Virtual Cervantes (s.f) menciona que el proceso de validación es de los más 
importantes, ya que si la prueba no es válida para lo que debería evaluar, los resultados de 
esta tampoco serían correctos. Por esta razón, es importante tener claro previo al diseño de 
la prueba cuál va a ser su objetivo y para qué se va a utilizar. 

Ahora bien, para realizar la validación de una prueba se deben seguir diferentes 
procedimientos que los teóricos llaman tipos de validez. Sin embargo, todavía no hay un 
consenso por parte de los expertos de cuál es el que se debe seguir (Green, 2013). Por 
ejemplo, Alderson et al. (1995) mencionan que hay tres tipos de validación; la intema, la 
extema y la del constructo. Según los autores la validez interna es aquella que analiza los 

oO 

contenidos y objetivos del examen con la ayuda de expertos (validez de contenido), de 
profesores no necesariamente expertos (validez aparente) y de estudiantes que toman la 
prueba (validez de respuesta). Esto con el propósito de verificar si lo que se está evaluando 
corresponde con el programa al que responde. 

Adicionalmente, la validez externa contempla métodos estadísticos en donde se 
analizan los resultados que obtienen los estudiantes con cualquier otra evaluación que ellos 
hayan tomado (validez concurrente), o en comparación con los resultados de la misma prueba 
pero tiempo después (validez predictiva). Bachman & Palmer (1996) añaden la validez del 
constructo, la cual contempla hasta qué punto podemos afirmar que el resultado de la 
evaluación da cuenta de las habilidades que tiene el estudiante en la lengua. Es decir, es 
fundamental definir el constructo y las características de las actividades propuestas para 
luego poder evaluar qué tan bien se miden en el examen (McNamara, 2000). En palabras de 
Ebel & Frisbi (1991), al validar los constructos del examen lo que se está haciendo es recoger 
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todas las evidencias que indiquen que el examen mide lo que debe medir y para lo que está 
hecho. 

Entre todos los tipos de validación llama la atención el de Weir (2005), quien propone 
un modelo socio-cognitivo para validar cada una de las destrezas lingüísticas, y la 
comprensión lectora no es la excepción. Este modelo es de gran utilidad debido a la 
rigurosidad que presenta a la hora de validar la prueba en cuanto al contexto, las instrucciones 
y requerimientos de la tarea, la naturaleza de la información, el constructo y la teoría en que 
se basa. Además, es un método de validación diseñado especialmente para la comprensión 
lectora, sin dejar de lado los procesos cognitivos (microdestrezas) que se evalúan en la 
prueba. Según el autor, para validar un examen se debe tener en cuenta no solo lo que se 
evalúa, sino también los procesos cognitivos que se evalúan, sin olvidar la población a la cual 
va dirigida el examen, lo cual está en total concordancia con el modelo de lengua de Bachman 
& Palmer (1996) adoptado en este trabajo. Por todo lo anterior, se decidió realizar la 
validación de la prueba que diseñamos en la investigación. 






<?- 
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Validez de consecuencias (Interpretación 
de puntuación) 

Validación difemcial, efecto en el salón o 
trabajo, efecto del individuo dentro de la 
clase o sociedad 


Validez y confiabilidad de la relación entre criterios (Valor 
de la puntuación) 

Comparación de diferentes versiones del mismo test, 
comparación del mismo test administrado endiferentes 
ocasiones, comparación con otros tests/mediciones, 
comparación con el desempeño futuro 


Figura 6: Marco socio-cognitivo para validar los exámenes de comprensión lectora. Weir (2005, p. 44) 

Esta propuesta articula diferentes elementos que aseguran que la validación se haga 
de manera rigurosa. En primer lugar encontramos que hay que tener en cuenta las personas a 
las que va dirigida en el examen y sus características particulares, así como las condiciones 
físicas donde será administrado el test (la luz o temperatura que tiene, su seguridad, y si 
siempre se realizará el examen en el mismo lugar o en diferentes). Además, es importante 
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definir todo lo relacionado con el examen: si las tareas que realizará el estudiante se enmarcan 
en condiciones posibles de la vida real, si va en concordancia con el objetivo, el tipo de 
preguntas, la longitud del texto, el conocimiento que debe tener el estudiante del contexto, el 
léxico que tiene, etc. 

Adicionalmente, se debe hacer una validación de la teoría en que se basa el examen, la 
cual hace referencia a las operaciones cognitivas que el estudiante debe realizar a la hora de 
responder una prueba (Weir, 2005). En otras palabras, el examinador debe validar las (micro) 
destrezas que el examen diseñado pretende evaluar, así como el conocimiento lingüístico 
(gramática, vocabulario), el conocimiento textual, el pragmático (interpretar el significado 
que quiso dar el autor, hacer inferencias), el conocimiento sociolingüístico (interpretar por el 
contexto) y el conocimiento del contenido (conocimiento de fondo o backgroundknowledge 
y el que aporta el texto). Cabe aclarar que la validación de la teoría está íntimamente 
relacionada con la validez del contexto y con el modelo de lengua de Bachman & Palmer 
(1996). 

, & 

Después de haber validado el contexto y la teoría en la que se basa, el autor propone 
realizar la validación de la puntuación, en donde se realiza un análisis cuantitativo de cada 
ítem utilizando fórmulas matemáticas para determinar su fiabilidad, así como para 
diagnosticar la probabilidad de error de cada pregunta. Finalmente, al comprobar que cada 
uno de los ítems es válido, se debe validar el efecto que los resultados de la prueba tendrá 
para el estudiante en la sociedad, trabajo o clase, para luego comprobar la validez de los 
resultados por medio de un análisis donde se comparen diferentes versiones del test, del 
mismo test administrado en diferentes ocasiones o del test con relación a otros. 

Específicamente, en la investigación tuvimos en cuenta la validación de contexto y la 
de la teoría en que se basa. Esto debido al objetivo y alcance de nuestro estudio, cuyo 
propósito era diseñar una prueba de CL para los niveles Al y A2. Sin embargo, 
recomendamos que al culminar el diseño de la prueba en su totalidad con las diferentes 
destrezas lingüísticas se realice la validación completa del examen para garantizar su utilidad. 
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Después de hacer una recopilación teórica de los constructos en los que se basó la 
investigación, en el siguiente apartado se presentará cómo estos se utilizaron para el diseño 
de la prueba de clasificación de la comprensión lectora. 


6. LA CREACIÓN DEL INSTRUMENTO DE EVALUACIÓN 


Este apartado presenta la metodología utilizada para la creación del instrumento de 
evaluación. En primer lugar se menciona el tipo de investigación en el cual se enmarca 
nuestra propuesta, y en segundo lugar la ruta metodológica utilizada para el diseño del 
instrumento. 


6.1. Enfoque de la investigación 


Dada la naturaleza de nuestra investigación, consideramos que pertenece al enfoque 
cualitativo, puesto que el instrumento que diseñamos responde a la necesidad de hacer una 
prueba que brindará más información acerca del estudiante, ya que no sólo permite 
clasificarlos entre los niveles Al y A2, sino que también brinda infonnación a los docentes 
sobre las microdestrezas de cada uno de los estudiantes, en este sentido la investigación se 
torna más cualitativa. Respecto a esto, Hernández, Fernández y Baptista (2010) definen el 


enfoque cualitativo como aquel que realiza una reconstrucción holística de la realidad, por lo 
que los datos que son recogidos por el investigador no son de tipo numérico o estadístico, 
sino con base en puntos de vista y perspectivas sobre el tema, descripciones de situaciones, 


manifestaciones y eventos. 




S' 




Asimismo, Monje Alvarez (2011) menciona que la investigación cualitativa 
comprende los fenómenos que suceden en un contexto determinado, por ello, un enfoque 
cualitativo pretende dar un concepto, interpretar una realidad con base en una observación 
previa, por lo que pennite la subjetividad. Después de identificar las necesidades, diseñamos 
un examen de comprensión lectora para ser luego validado por los profesores de El. Es decir, 
nos valimos de unas herramientas de recolección de infonnación específica (entrevista y 
cuestionario) según la valoración subjetiva de los profesores que participaron en el proceso 
de validación. Posterionnente, realizamos la triangulación de dicha información recolectada, 
y pudimos identificar los aciertos y desaciertos que posee el instrumento diseñado. 


Finalmente, es importante mencionar que nuestra investigación no buscaba hacer 
generalizaciones, sino explicar un fenómeno específico, en este caso, la evaluación de la CL. 
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Hernández & Opazo (2012) mencionan que hacer investigación cualitativa en la educación 
tiene un beneficio principal, y es la toma de decisiones acerca de un fenómeno específico, 
por eso, a través del instrumento diseñado se busca que El pueda tomar decisiones sobre la 
clasificación de los alumnos en los distintos de niveles que ofrece la escuela. Asimismo, 
Hernández et al. (2010) también resaltan las ventajas de la investigación cualitativa debido a 
que le da un contexto amplio a una realidad, con lo que se logra mirar un fenómeno en 
profundidad con abundancia de pormenores y detalles únicos. En este sentido, la prueba que 
diseñamos permite que los docentes se acerquen a la realidad de sus estudiantes y puedan 
observar características únicas que cada uno de ellos posee referente a la CL, es decir, pueden 
ver en detalle las microdestrezas que utilizan a la hora de leer. 

6.2 Tipo de investigación 



Si bien los diseños cualitativos se tipifican en diferentes tipos de investigación, el 
propósito fundamental de nuestra investigación fue proveer una prueba clasificatoria de CL 
a una institución que ya tenía una prueba instaurada. En este sentido esta investigación se 
toma de tipo aplicado-práctico dado los planteamientos que otorgan Seliger & Shohamy 
(1989). 

<y 

Ce 

Por un lado, se puede decir que es de corte aplicado en la medida que se recogen teorías 
en relación con la evaluación como la que presenta Bachman & Palmer (1996), la evaluación 
de la comprensión lectora desde autores como Brown (2004), y la validación de la prueba 
según los criterios de Weir (2005). Es decir que nos valimos de constructos teóricos para el 
diseño de la prueba. Es aplicada en tanto que se requieren unas construcciones teóricas que 
nos permiten iluminar el proceso de la constmcción de la prueba como se evidenció en el 
apartado del marco teórico. 

Por otro lado, esta investigación se considera de corte práctico en tanto que no sólo 
pretende diseñar la prueba, sino de ofrecerle a El un examen que pueda ser utilizado en la 
institución. Además, busca que pueda ser útil para los estudiantes, profesores y directivos de 
El y para futuras investigaciones que desarrollarán las otras partes del examen. Es decir, la 
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investigación práctica toma los hallazgos de lo teórico y lo aplicado, les encuentra un sentido 
y un uso en situaciones reales y específicas (Seliger & Shohamy 1989). 

6.3 Planiilcación del proceso del diseño de la prueba de comprensión lectora 

Dado que para la construcción de una prueba es necesario seguir una ruta metodológica 
que nos permita dar respuesta asertiva, se decidió diseñar la prueba en cuatro fases. Las fases 
para esta investigación fueron cuatro: la fase previa, la fase de diseño, la fase de 
experimentación y la fase de recapitulación. Estas etapas coinciden con los planteamientos 
de Bordón (2006) en tanto que nos aporta una descripción detallada de las mismas fases para 
la elaboración del instrumento de evaluación. 



Figura 7: Diseño de prueba. Bordón (2006) 


6.3.1 Fase previa 


La fase previa se desarrolló en cinco etapas: la primera, tiene que ver con el análisis 
de necesidades; la segunda con el objetivo del examen; la tercera, hace referencia al perfil de 
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los candidatos; la cuarta atañe a las tareas del examen; y la quinta, está relacionada con la 
estimación de los recursos necesarios. 


6.3.1.1 Análisis de necesidades 


Antes de desarrollar una prueba de clasificación de la comprensión lectora, es 
indispensable determinar si es necesario proponer este tipo de examen. Para esto, primero, 
realizamos una entrevista al coordinador académico de El, quien afirmó que el examen no 
evaluaba la CL, pero sí era una habilidad que se trabajaba en clase. También, nos comentó 
que habían tenido una serie de problemas con la clasificación de los estudiantes en los 
respectivos niveles. 


Posteriormente, hicimos un análisis detallado del examen de clasificación, y se 
encontró que era una prueba inconclusa debido a que no contaba con la evaluación de la 
comprensión lectora, puesto que sólo estaba conformado por 80 preguntas en donde se 
evaluaba gramática de una manera descontextualizada y una entrevista para evaluar la 
interacción oral. Es decir, no se estaba evaluando la habilidad de CL aunque sí se trabajaba 
en los salones de clase. 


Asimismo, se encontraron algunos problemas en el examen, entre los cuales podemos 
mencionar que algunas preguntas tenían más de una respuesta acertada, errores 
gramaticales, había preguntas que no tenían ninguna respuesta correcta, etc. Estos 
hallazgos sugieren que había puntos en el examen que no eran válidos y por esta razón se 
puso en entredicho la validez y la fiabilidad de la prueba. 


6.3.1.2 Objetivo del examen 

El examen de clasificación que se diseñó, mide la CL y tiene como objetivo clasificar 
a los estudiantes en cinco grupos diferentes del centro El Bogotá: Al principiante 1, Al 
principiante 2, A2 elemental 1, A2 elemental 2, y pre-intermedio Bl.l. Los subniveles que 
se tuvieron en cuenta para el diseño de esta prueba son los comprendidos entre los niveles 
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Al y A2, debido a que son estos niveles los que cuentan con mayor número de estudiantes en 
el momento de ingreso, según los datos revelados por la matriz de ingreso de los años 2014 
y 2015. 

Es importante mencionar que se debe continuar la investigación para seguir 
desarrollando las tareas correspondientes a los otros niveles de El que no se incluyeron en 
esta propuesta, de lo contrario no se podrá clasificar a los estudiantes en todos los niveles que 
ofrece la escuela. No obstante, en mutuo acuerdo con la institución, se han ido tomando 
nuestros aportes para el diseño de un nuevo examen de clasificación. 

6.3.1.3 Perfil de los candidatos 


El perfil de estudiantes que realizarán nuestro examen es variado ya que provienen de 
distintos países, y tienen distintas lenguas maternas, así como también difieren en sus 
intereses y gustos. Sin embargo, en su mayoría son adultos extranjeros interesados en tomar 


cursos de español como lengua extranjera en El por distintas razones, tales como: negocios 
en Latinoamérica, viajes por países de Sudamérica, educación y mejora de la comunicación 
con sus familiares latinos. 

La población que abarcó este estudio son todos los estudiantes extranjeros interesados 
en tomar cursos de español como lengua extranjera en el centro de Idiomas El. A 
continuación se presenta una gráfica del porcentaje de los estudiantes activos entre enero de 
2014 y agosto de 2015. 



• 2014 ■ 2015 
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Figura 8: Porcentaje de estudiantes en El con relación a su nivel entre el 2014 y 2015 (2015) 


Como podemos observar, la mayoría de los estudiantes se encontraba entre los niveles 
Al y A2, otros menos en B1 y la minoría entre B2 y Cl.Se encontró que en el año 2014 la 
escuela recibió 187 estudiantes en clases grupales, de estos estudiantes 66 comenzaron sus 
estudios en el nivel A2, el cual fue el curso con más cantidad de aprendientes durante ese 
año. Durante el año 2015 El recibió 106 estudiantes en diferentes niveles y únicamente en 
las clases grupales. Hasta agosto de 2015 el nivel más popular fue el A2 con 46 aprendientes. 


Adicionalmente, se indagó sobre las nacionalidades que más ingresan a la escuela por 
año. A continuación, se presenta una gráfica del porcentaje de nacionalidades de los 
estudiantes activos entre enero de 2014 y agosto de 2015. 
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Figura 9: Porcentaje de estudiantes en El con relación a su nacionalidad en los años 2014 y 2015 (2015) 


Como podemos observar, durante 2014 y 2015 los estudiantes pertenecían a 26 
nacionalidades. Por un lado, se encontró que en el 2014 los estudiantes que contaron con 
mayor presencia en la escuela fueron los provenientes de Alemania (36), Suiza (33) 
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y Estados Unidos (31). Por otro lado, en el 2015 los registros muestran que los países que 
tenían mayor número de estudiantes eran Alemania con 14 y Suiza con la misma cantidad. 

6.3.1.4 Tareas del examen 

Para seleccionar las tareas del examen lo primero que se hizo fue tener en cuenta los 
géneros de transmisión escrita especificados por el Plan Curricular del Instituto Cervantes, 
el programa de estudio de El y los libros Aula Internacional 1 y 2, que han sido la base 
principal para la selección de textos. De esta manera, en las tareas de los niveles Al y A2 se 
trabajaron los siguientes géneros: mensajes electrónicos (Al) y biografías (A2). 

De igual forma, las dos tareas del examen se inscriben en el contexto de una situación 
específica dentro de los ámbitos y las escalas Al y A2 que establece el MCER (2002). En 
este examen sólo se tuvo en cuenta el ámbito personal, ya que según el programa de la 
escuela, los estudiantes de estos niveles deben realizar tareas que mayoritariamente son de 
situaciones personales. 



Después de seleccionar el género de cada una de las tareas y durante el proceso de 
escogencia de las mismas se tuvo en cuenta las diferentes características que debe tener 
cualquier tarea en una evaluación según los criterios que mencionan Bachman & Palmer 
(1996), citado en Alderson (2000). Así pues, se tomaron las características de la rúbrica de 
la evaluación, del input y de la respuesta esperada. 

En relación con la tarea 1, se decidió que en la rúbrica de evaluación la instrucción 
debía ser escrita en español, el canal visual, el largo de 3 líneas y llevaría un ejemplo. Para 
la estructura se resolvió que habría 6 ítems y el tiempo disponible para llevarla a cabo sería 
de 4 minutos. Aunque en esta investigación se dio un tiempo para contestar el examen, hay 
que tener en cuenta que el examen que utilizaba la escuela El no tenía un tiempo determinado. 

Asimismo, se decidió que en las características del input el formato tendría un canal 
visual, no llevaría ni fotos ni diagramas, se escribiría en español y el largo sería de tres 
párrafos. Para la presentación del input las preguntas debían tener un lenguaje más sencillo 
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que el texto, escritas en la variedad bogotana y se incluiría un referente cultural como el cerro 
de Guadalupe, sin que éste les diera ventaja para poder contestar las preguntas. En relación 
con las características del tema, se decidió trabajar con el ámbito personal como ya se nombró 
anteriormente. 


Además, se determinó tanto para la tarea 1 como para la tarea 2 que en las 
características de la respuesta esperada el formato debería ser en español con 3 respuestas 
(una respuesta verdadera y dos distractores) de selección por ítem, de las cuales se debe 
seleccionar una (respuesta de selección múltiple). 


En cuanto a la tarea 2, se determinó que en la rúbrica de evaluación la instrucción sería 
en español, el canal visual, el largo de 3 líneas y llevaría un ejemplo. Para la estructura se 
resolvió que habría 6 ítems que se enumeraron desde el 7 y el tiempo disponible para 
realizarla sería de 6 minutos (Green, 2014). 

& 

De la misma manera, se decidió en las características del input que el formato sería 
en un canal visual, igual que en la tarea 1 no llevaría ni fotos ni diagramas, se escribiría en 
español y el largo sería de seis párrafos. Para la presentación del input las preguntas debían 
tener un lenguaje más sencillo que el texto y serían escritas en la variedad bogotana. En 
relación con las características del tema, se decidió trabajar con el ámbito personal al igual 
que en la tarea 1. Estos son los escenarios o ámbitos de evaluación fijados de acuerdo con 
los planes curriculares. 


Por otro lado, la prueba consta de 2 tareas, las cuales están entrelazadas por un 
personaje llamado Christian. En relación a la tarea 1, Christian está leyendo el correo que le 
envió a su amiga Maggie, el estudiante debe realizar la lectura y contestar las preguntas 
correspondientes. En lo concerniente a la tarea 2, Christian está leyendo un artículo 
biográfico sobre un colombiano, el estudiante debe realizar la lectura y contestar las 
preguntas que se le presentan. Las tareas tienen 12 ítems, cada tercer ítem el nivel de 
dificultad aumenta en conformidad a los descriptores y los atributos. 
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En relación con los ítems de las tareas, para efectos de este trabajo, la evaluación que 
se realizó es objetiva porque su método para dar una calificación depende de una serie de 
respuestas preestablecidas (Carr, 2011). Asimismo, para el caso de esta investigación la 
evaluación es indirecta, porque también da información relacionada con la gramática y el 
vocabulario que maneja cada estudiante, aunque la prueba no fue diseñada para esto. 

Asimismo, podemos afirmar que el examen es de puntos discretos (discrete-point), el 
cual es común en los exámenes de comprensión lectora y de escogencia múltiple (múltiple 
choice) y en los exámenes estandarizados. En las evaluaciones de punto discreto, una 
pregunta indaga sobre un punto concreto, evalúan específicamente una habilidad o un área 
de la lengua (Carr, 2011). Además, se decidió que los ítems serían de respuesta cerrada, 
debido a la necesidad de clasificar al estudiante en el menor tiempo posible, por lo que los 
ítems de respuesta abierta estaban totalmente descartados. 

& 

Ahora bien, teniendo en cuenta las ventajas y desventajas de cada ítem se decidió que 
la tipología de ítem más apropiada es la de respuesta múltiple. A propósito de este tipo de 

/< o 

ítems, Oreen (2013) menciona que se debe utilizar debido a que la mayoría de los estudiantes 
se encuentran familiarizados con exámenes de respuesta múltiple, lo cual les da algo de apoyo 

/ o 

y confianza a los principiantes. Además, Ebel & Frisbi (1991) mencionan que los resultados 
de estas preguntas son objetivos con relación al nivel de dificultad de cada una de las 
preguntas y que son fáciles de calificar. 

Al diseñar ítems de respuesta múltiple, Brown (2004) recomienda que por la 
dificultad en la elaboración de los distractores, solo se deben escribir tres opciones. Figueras 
y Puig (2013) también concuerdan con el autor porque todas las opciones deben ser 
verosímiles, aunque Alderson (2000) menciona que 4 opciones podrían ser mejor para que 
los estudiantes tengan un 25% de posibilidad de tener la respuesta. Sin embargo, en el diseño 
de los ítems se decidió que las preguntas solamente tendrían tres opciones en concordancia 
con la estructura de la prueba y lo recomendado por Brown (2004). 
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6.3.2 Fase de diseño 

Dado que el objetivo principal de esta investigación consistió en la elaboración de una 
prueba de clasificación de la CL, fue importante plantear una fase de diseño que se dividió 
en cuatro etapas que se pueden mencionar de la siguiente manera: en primer lugar, se 
encuentran los contenidos; en segundo lugar, los procedimientos; posterionnente, las pruebas 
y las instrucciones; y finalmente encontramos los criterios de evaluación. 

6.3.2.1 Los contenidos 


En lo que se refiere a los contenidos, se utilizaron algunos seleccionados a partir de 
los que presenta el libro con el que trabajan todos los profesores de El titulado Aula 
internacional 1 y 2. A continuación presentamos los contenidos de los dos textos que 
componen las tareas del examen. Los contenidos nos sirven para determinar la dificultad del 
texto y por ende la dificultad de la tarea, sin embargo, estos no se evalúan. 

cF 

Tabla 10. Contenidos de la tarea 1 (niveles Al. 1 y Al.2) 


Funcionales Gramaticales Léxicos Tipología 

textual 


-Reconoce palabras y frases 

-El presente de indicativo 

Vocabulario relacionado 

-Mensaje 

básicas en descripciones 

-Algunos usos de las 

con: los lugares de la 

electrónico. 

sencillas. 

preposiciones con, de, por 

ciudad, los tipos de 


-Comprende el sentido de 

y para. 

edificaciones, las 


un texto sencillo con la 

-Algunos usos del verbo 

relaciones de parentesco 


ayuda de palabras que 
resulten familiares y de 
expresiones básicas. 

haber 

-El verbo estar 
-El verbo gustar 
-Verbo querer + infinitivo. 
-Los posesivos. 

-Pretérito indefinido 
-Pretérito perfecto 

y las profesiones. 



Tabla 11. Contenidos de la tarea 2 (niveles A2.1 y A2.2) 


Funcionales 

Gramaticales 

Léxicos 

Tipología 

textual 
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-Encuentra información específica 

-Forma impersonal 

Vocabulario 

-Biografía 

en textos sencillos. 

con Se. 

relacionado con la 


-Entiende textos breves y 
sencillos, escritos en un lenguaje 
cotidiano haciendo inferencias. 

-Necesitar + infinitivo 
-Pretérito indefinido. 
-Pronombres de 

objeto directo e 
indirecto. 

-Porque y para 
-Pretérito imperfecto 

vida laboral. 



Es importante aclarar que el programa que tiene El está basado en la tabla de contenidos 


del libro Aula Internacional. Ahora bien, en relación con Aula Internacional 1 , los contenidos 


estudiados en el nivel A1.1 se encuentran desde la unidad 1 hasta la 5 y desde la unidad 6 
hasta la 10 se encuentran los que se deben ver en Al.2. En cuanto a Aula Internacional 2, 
desde la unidad 1 hasta las 6 corresponde al nivel A2.1 y desde la unidad 7 hasta la 12 
pertenecen al nivel A2.2. 




Referente al libro Aula internacional 1 tuvimos en cuenta para la tarea 1 las unidades 
2, 3,5, 9 y 10, las cuales comprenden los siguientes contenidos gramaticales: el presente del 
indicativo, los posesivos, el verbo estar, el verbo gustar, el pretérito de indefinido, las 
preposiciones de, por y para, algunos usos del verbo haber, el verbo querer más infinitivo y 
el pretérito perfecto. De igual manera, estas unidades abarcan los siguientes contenidos 
lexicales: profesiones, nacionalidades, días de la semana, tiempo libre, la ciudad y la vida 
diaria. 


En relación con el libro Aula internacional 2 elegimos las unidades 1,3, 4, 6, 7, 10,11, 
las cuales abarcan los siguientes contenidos gramaticales: el pretérito indefinido, marcadores 
temporales, pronombres de objeto directo e indirecto, más seguido de adjetivo, estar más 
gerundio, forma impersonal con Se, necesitar más infinitivo, uso de las partículas porque y 
para, y usos del pretérito imperfecto. Las unidades léxicas vinculadas a estas unidades son: 
aficiones, el curriculum vitae y la vida laboral. 

En cuanto a los contenidos funcionales son los mismos descriptores de nivel que se 
basan en las escalas de descriptores generales de comprensión lectora del MCER. Dichos 
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descriptores permitirán caracterizar la actuación del alumno en relación con lo que son 
capaces de hacer en cada nivel. 

Después de determinar los contenidos de las tareas del examen, se hizo necesario 
establecer la distribución de las partes de la prueba, el tipo de examen y su duración. 

6.3.2.2 Distribución de partes, tipos de prueba y duración 

En cuanto a la selección de la prueba de CL que compone el examen, tuvimos en cuenta 
que El ya contaba con un examen de clasificación que medía la gramática y la interacción 
oral, sin embargo no contaba con una herramienta que midiera la CL. Debido a esto se optó 
por desarrollar un examen de clasificación que midiera la comprensión lectora de los niveles 
Al y A2. Por lo tanto, en el futuro se deberá desarrollar la totalidad del examen teniendo en 
cuenta todas las destrezas que se trabajan en el aula de clase. 

Respecto a la distribución de las partes, propusimos que nuestro examen de 
clasificación tuviera un tiempo estimado de 10 minutos para las dos tareas (4 minutos para 
la primera y 6 para la segunda), ya que según Green (2013) el tiempo que se debe tomar en 
CL no debe superar los 25 minutos, y las tareas que se proponen en esta investigación no 
abarcan todos los niveles establecidos. Sin embargo, es pertinente aclarar que el examen que 
utilizaba El no tenía ningún tiempo establecido. 

Ó.3.2.3 Redactar instrucciones y prueba 

Las instrucciones son parte fundamental del examen, ya que de ellas depende que el 
estudiante sepa lo que debe hacer, cómo lo va a hacer, los tipos de tareas que aparecerán en 
la evaluación, etc. En otras palabras, el objetivo principal de las instrucciones es que el 
estudiante sea capaz de darse cuenta cuál es la naturaleza del examen, cómo tienen que 
contestar y cómo van a ser evaluados (Bachman, 2010). Por lo anterior, Bachman & Palmer 
(1996: 182) proponen una serie de puntos a tener en cuenta a la hora de redactar las 
instrucciones. A continuación mostramos cómo estos criterios fueron aplicados a nuestro 
examen. 
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1. El propósito de la instrucción: como la instrucción es lo primero que leen los 
estudiantes, al realizar el examen tuvimos en cuenta dos componentes esenciales al 
redactar la instrucción: hacer explícito cuál es la habilidad que se va a medir y 
establecer qué es lo que se debe hacer con las tareas. 


2. Hacer la instrucción entendióle: para el propósito de este examen de clasificación y por 
la gran variedad de lenguas maternas que confluyen en El, las instrucciones las escribimos 
en español. Además, tuvimos en cuenta el canal por el cual se dan las instrucciones, en cuyo 
caso es el escrito. Adicionalmente, dimos un ejemplo de cómo se debe contestar cada tarea 
para asegurarnos que los estudiantes entendieran la manera cómo se debe responder. En 
evaluación este punto es clave tenerlo en cuenta porque determina el éxito o el fracaso en 
términos del desempeño de los candidatos. Asimismo, las instrucciones son simples y cortas 
no solo para mejorar el entendimiento de los estudiantes, sino también para que no inviertan 
mucho tiempo leyéndolas. Sin embargo, las instrucciones explican exactamente lo que se 
espera que ellos hagan. 


6.3.2A Definir los criterios de evaluación 




Precisar los criterios de la evaluación es muy importante en la medida que con base en 
los resultados que obtengamos, se definirán las acciones que se tomarán con cada estudiante, 
razón por la cual Brown (2004) estipula diferentes especificaciones para tener en cuenta al 
realizar la prueba que se evaluará por el número de ítems que se completan 
satisfactoriamente, los cuales son calificados como correctos o incorrectos. 


La corrección del examen nos pennitirá distribuir a los estudiantes en 5 subniveles 
diferentes en El, por esta razón es indispensable contar con los descriptores correspondientes 
a los subniveles enmarcados entre Al y A2 que maneja la escuela, puesto que el examen nos 
pennitirá evaluar a los alumnos en la destreza de comprensión lectora. 

Por lo tanto, en este trabajo investigativo se desarrollaron una serie de descriptores de 
nivel, tomando como base las escalas de los descriptores del MCER, a fin de que estuvieran 
en concordancia con los estándares europeos. Dichos descriptores permitirán caracterizar la 


65 


actuación del alumno en relación con lo que son capaces de hacer en cada nivel, a fin de 
clasificarlo en uno de los cursos de la escuela EI. 


Con respecto a las escalas de los descriptores del MCER para la comprensión 
de lectura en general, tuvimos en cuenta las correspondientes a los niveles que comprende 
este trabajo. Por un lado, para el nivel Al se tomó el descriptor que alude a la capacidad de 
comprensión de textos cortos y sencillos en donde el estudiante lee frase por frase, releyendo 
cuando lo necesita. Por otro lado, para el nivel A2 se utilizó el descriptor que sugiere el uso 
de textos breves si incluyen vocabulario cotidiano o relacionado con el trabajo. 


Adicionalmente consideramos la escala ilustrativa para leer en busca de información 
y argumentos para nivel A1 que alude a la capacidad de entender la idea general de un escrito 
informativo y de descripciones sencillas. Por su lado, para el nivel A2 se utilizó el descriptor 
que menciona que el estudiante reconoce información específica en escritos sencillos como 
artículos de periódico que describen hechos específicos. 


Asimismo, consideramos la escala ilustrativa de identificación de las claves e 

sCXf 

inferencias para nivel A2 que sugiere que el estudiante infiere el significado de palabras 
teniendo en cuenta la idea principal de las palabras y frases cortas. Oreen (2013) concuerda 
con esta afirmación, mencionando que los estudiantes de nivel A2 empiezan a hacer 
inferencias básicas. 


Cabe aclarar que en MCER no se contemplan subniveles del Al y A2, por lo que se 
decidió crear los descriptores que ilustran lo que el alumno es capaz de hacer en cada subnivel 
que se trabajan en El, teniendo como base lo estipulado en el MCER. A continuación se 
presenta una tabla en donde se muestran los descriptores en cada nivel trabajado en EL 


Tabla 12. Descriptores de nivel 


Al. 1 

Reconoce palabras y frases básicas en descripciones sencillas 

Al .2 

Comprende el sentido de un texto sencillo con la ayuda de palabras que resulten familiares 
y de expresiones básicas 

A2.1 

Encuentra información específica en textos sencillos 

A2.2 

Entiende textos breves y sencillos, escritos en un lenguaje cotidiano haciendo inferencias 
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En cuanto a los atributos, ni el MCER y ni el Plan Curricular del Instituto Cervantes 
mencionan cómo procesan los estudiantes la información escrita en cada uno de los niveles 
ni el grado de comprensión que tienen. Por consiguiente, decidimos, como lo sugiere Green 
(2013), que los profesores y diseñadores del examen sean quienes tomen esta decisión basado 
en sus conocimientos, el programa y los materiales que se utilizan en el curso. Así pues, el 
autor menciona que en el nivel Al, los estudiantes solamente hacen lectura literal de lo que 
leen y buscan información específica, pero que al llegar a A2, los estudiantes hacen 
inferencias básicas. Esto concuerda con lo que dice el MCER en su escala Identificación de 
las claves e inferencia, en donde se muestra que en nivel Al los estudiantes todavía no 
pueden inferir información del texto, mientras que en A2 emplea la idea general de un texto 
cotidiano para inferir el significado posible del vocabulario desconocido. 

cr 

Además, en la prueba decidimos trabajar con los siguientes atributos: conocimiento del 
significado lexical, conocimiento del significado de la oración, conocimiento del significado 
del párrafo/texto, microdestreza para identificar información específica (scanning), 
microdestreza de comprensión global del texto ( skimming), microdestreza de hacer 
inferencias. Los anteriores atributos los definimos de acuerdo a los postulados de Green 
(2013) y las definiciones de microdestrezas de autores como Figueras & Puig (2013), Kim 
(2015) y Khalifa & Weir (2009). A partir de estos últimos teóricos seleccionamos las 
microdestrezas (véase Marco teórico apartado 5.2.1). 

Por esta razón, determinamos que los atributos mencionados en el párrafo anterior 
son los que se van a medir, en relación con el ítem, y el descriptor del nivel. Además 
utilizamos una matriz Q, la cual identifica los atributos para responder a los ítems de la prueba 
(Véase arco teórico, apartado 5.2.3.1). 

En cuanto a los puntos de corte, el examen cuenta con 12 puntos y cada tercer ítem sugiere 
que el candidato se puede movilizar de un nivel a otro. De esta manera, el candidato se 
clasificará en A 1.2 si cumple con al menos 2 de las preguntas correspondientes al subnivel 
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Al. 1; asimismo, se clasificará en A2.1 si cumple con 2 de los ítems correspondientes a A 1.1 
más 2 de los de Al.2, del mismo modo, un alumno podrá ser clasificado en el nivel A2.2 si 
alcanza los mínimos establecidos anteriormente más 2 de las preguntas que se relacionan con 
A2.1, por lo tanto si se superan los mínimos de los niveles Al y A2 el alumno debería ser 
clasificado en B1. 1. 

A continuación se hace una relación entre el número de respuestas correctas y el puntaje 
que obtiene. Cabe aclarar que las tres primeras preguntas miden Al. 1, las 3 siguientes miden 
Al.2, luego las tres siguientes miden A2.1 y finalmente las últimas miden A2.2. 


Tabla 13. Escala de valoración del examen. 


Si obtiene 

correctamente... 

Su nivel será... 

Porcentaje 

A/ 

1 

Al.l 

33% de ALO 

2 

Al.2 

67% dfm.l 

3 

Al.2 

100% de Al.l 

vy 

4 

Al ' 2 

33% de Al.2 

5 

A2 ;i 

67% de Al.2 

6 

Á21 

100% de Al.2 

7 

A2.1 

33% de A2.1 

8 

A2.2 

67% de A2.1 

9 

A2.2 

100% de A2.1 

10 

A2.2 

33% de A2.2 

11 

Bl.l 

67% de A2.2 

12 

Bl.l 

100% de A2.2 
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6.3.3 Fase de experimentación 


La fase de experimentación nos permitió comprobar la validez del examen de CL en lo 
relacionado al propósito del examen, las instrucciones, el tipo de preguntas, el tiempo, el tipo 
de texto, la gramática, el léxico, el puntaje de los ítems, la manera de clasificar a los 
estudiantes, los objetivos propuestos (descriptores de nivel) y la teoría en la que se basa para 
medir si concordaban los atributos propuestos con cada uno de los ítems. Lo anterior se pudo 
obtener a partir de los resultados de la validación de las tareas con los expertos, lo que hará 
posible una mejora de la primera versión de la propuesta del examen de clasificación de la 
comprensión lectora. 


En este orden de ideas, se decidió que quienes debían hacer la validación del examen, 
tal como lo sugiere Green (2013) y Bordón (2006), debían ser los mismos profesores de ELE 


de El más el director del programa quien también se desempeñaba como docente de español, 
es decir que en total fueron tres profesores los cuales respondieron el cuestionario de 
validación. Para este propósito se le entregó a cada uno una copia del borrador del examen 
de clasificación de la CL, un cuestionario de validación y la tabla de contenidos de los textos 
de las tareas. Además, se diseñó un cuestionario, con el fin de registrar la información 
esencial sobre el perfil de los examinadores que participaron en el pilotaje de nuestra 
investigación. Este perfil fue esencial a la hora de garantizar la pertinencia de la intervención 
de los profesores, en tanto se evidenció que su experiencia como profesores de ELE oscilaba 
entre los 3 y 7 años y entre 2 y 5 años como profesores en EL Además, todos eran licenciados 
en español e inglés, y dos de estos docentes tenían experiencia en evaluación, siendo uno de 
ellos quien aplicaba el antiguo examen de clasificación en la escuela. 


En cuanto al tipo de validez que se midió el cuestionario de validación se basó en el 
modelo de Weir (2005), debido a que tiene en cuenta no solo lo que se evalúa, sino también 
los procesos cognitivos que el estudiante utiliza al momento de contestar la prueba. Además, 
es un método de validación diseñado especialmente para la comprensión lectora, sin dejar de 
lado los procesos cognitivos que se evalúan en la prueba. 
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Como se mencionó en el Marco teórico a propósito de las validaciones, para la 
investigación solo se tuvo en cuenta la validación de contexto (primera parte del 
cuestionario) y la validación de la teoría en la que se basa (segunda parte del cuestionario). 
Esto debido no sólo al propósito y alcance de la investigación, sino porque se requeriría tener 
otras pruebas piloto con quien comparar la propuesta, o haber obtenido resultados por parte 
de algunos estudiantes para determinar su validez y efecto en la institución y en la sociedad. 

6.4 Instrumentos de recolección de información 

Debido a la naturaleza del trabajo y sus objetivos, se escogieron los siguientes 
instrumentos de recolección de la información: entrevista y cuestionario de validación. 

6.4.1 Entrevista 

Después de analizar el antiguo examen de clasificación de El, se realizó una entrevista 
al Coordinador de los cursos de español con el fin de saber más a fondo tanto los problemas 
que tenía dicho examen como las necesidades que los estudiantes y ellos como centro de 
lenguas tenían. Así pues, se realizó una entrevista semi-estructurada, la cual es definida por 
Hernández et al. (2006) como un intercambio o interacción entre el entrevistador y 
entrevistado, cuyo propósito es construir significado por medio de preguntas previamente 
establecidas, así como preguntas adicionales que le permitan al investigador ampliar la 
información o indagar más a fondo acerca de un tema. 

Este instrumento de recolección de información es útil porque, tal como lo mencionan 
Hernández et al. (2006), tiene diferentes beneficios, entre los cuales se pueden nombrar la 
flexibilidad en la cual se puede abordar un tema, el carácter amistoso y de acercamiento 
personal, además de recolectar información detallada de primera mano de una manera 
natural y espontáneo. 

Dicha entrevista fue realizada el día 19 de Septiembre del 2015, la cual consistió en 
13 preguntas acerca de cómo se clasificaban los estudiantes, las ventajas y desventajas de la 
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prueba, cómo y quién aplicaba la prueba, qué tan bien creía que clasificaba a los estudiantes, 
cómo se administraba el programa y los materiales utilizados en el instituto, etc. 

6.4.2 Cuestionario de validación 

Con el fin de obtener información sobre la validez del examen de clasificación de la 
comprensión lectora, se realizó un cuestionario para los profesores. Dicho cuestionario 
estuvo basado en el modelo de validación de la comprensión lectora propuesto por Weir 
(2005) en cuanto a la validez del contexto y la teoría (Véase apartado 5.3, Validación de la 
prueba). 

Ahora bien, se escogió realizar un cuestionario de validación de la prueba de lectura 
debido a que es un instrumento eficiente y de gran utilidad para recolectar información en 
un tiempo relativamente corto (Osorio, 2009). El tipo de cuestionario escogido fue el mixto, 
el cual contiene tanto preguntas cerradas como abiertas, y es el utilizado con más frecuencia 
por los investigadores porque se obtiene un máximo de información Además, utilizar este 
instrumento supone varias ventajas, entre las cuales Valles (2000) menciona la no necesidad 
de que el investigador se encuentre presente al momento de aplicarlo si el instrumento está 
muy bien diseñado, la facilidad del procesamiento y análisis de los datos en comparación con 
otros instrumentos como la entrevista y la comodidad de la persona entrevistada debido a que 
hay un grado de anonimato. 

Específicamente en el cuestionario realizado a los profesores, se debe mencionar que 
se compuso de dos partes: en la primera parte, la cual indagaba la validez del contexto, los 
profesores debían responder una serie de preguntas con las cuales debían marcar con una X 
las casillas “Sí” o “No”, dependiendo de su percepción acerca del examen. Además, se les 
pedía dar razones o argumentos que justificaran su respuesta. 

Por otro lado en la segunda parte del cuestionario, la cual indagaba acerca de la 
validez con base en la teoría, los profesores debían marcar con una X los conocimientos o 
destrezas que creían que los estudiantes necesitaban para responder cada uno de los ítems. 
Como la propuesta de examen cuenta con 12 preguntas, los profesores debían relacionar cada 
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ítem con los atributos medidos en el examen: Conocimiento del significado lexical, 
conocimiento del significado de la oración, conocimiento del significado de párrafo o texto, 
microdestreza de skimming, microdestreza de scanning, microdestreza de hacer inferencias. 

7. Análisis e interpretación de resultados 

A continuación se presentan los resultados obtenidos por medio del cuestionario de 
validación del examen de clasificación realizado a los profesores de español de EL 
Asimismo, se analizan los resultados obtenidos a través de la triangulación de las respuestas 
obtenidas en cada uno de los cuestionarios, así como nuestra reflexión frente a sus 
comentarios y sugerencias. Cabe resaltar que, como se mencionó anteriormente (véase 
apartado 6.4.2), el cuestionario se dividió en dos partes. 

La primera parte del cuestionario de validación indagaba sobre la validez del contexto 

descrito por Weir (2005) en su modelo socio-cognitivo (véase apartado 5.3), la cual se 

subdivide en validez del escenario y de requerimientos; y la validez de la teoría en que se 

basa. Las primeras seis preguntas del cuestionario, las cuales validaban el propósito, las 

/V . , 

instrucciones, el formato de respuesta, el puntaje y el tiempo, correspondían a la validez del 
escenario, mientras que las preguntas 7 en adelante indagaban acerca del tipo de texto, la 
extensión, el tema y contenido4.'gramaticales y lexicales, se relaciona con los requerimientos 
lingüísticos. Finalmente, las dos últimas preguntas correspondían a la validez de la teoría en 
que se basa y validaban la manera de clasificar y la relación entre los objetivos de cada nivel 
con las preguntas. 

Ahora bien, con respecto a la pregunta que indagaba si el propósito de la prueba era 
claro, el 100% de los profesores afirmó que sí. Lo anterior es importante en la medida que 
los estudiantes deben saber de antemano por qué se les está evaluando y cuál es el objetivo 
de la prueba. Sin embargo, dos de ellos creen que el examen de clasificación está en una fase 
preliminar porque consideran que es importante que contenga todas las habilidades. Lo 
anterior concuerda con lo propuesto por Brown (2004), quien afirma que en un examen de 
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clasificación se deben integrar todas las destrezas, especialmente si todas son trabajadas en 
clase y están estipuladas en el programa específico. 


Seguidamente se indagó si las instrucciones de las dos tareas eran claras, a lo que el 
100% de los profesores respondió de manera afirmativa. Además, uno de ellos escribió que 
le parecía adecuado el contexto en el que se enmarca cada tarea. Lo anterior es de gran 
importancia debido a que las instrucciones juegan un papel fundamental en la evaluación ya 
que es por medio de éstas que los estudiantes conocen lo que deben hacer en cada una de las 
tareas, por lo que representa una parte primordial en el éxito de la tarea; es decir que si una 
instrucción no es clara el examen pierde su validez en la medida que el estudiante no puede 
demostrar sus habilidades. Alderson (2000) concuerda con lo anterior debido a 
que menciona que las instrucciones deben ser claras y concisas porque los estudiantes deben 


, , A 

ser capaces de entender lo que deben hacer en cada tarea y éstas no deben representar una 
dificultad extra en la evaluación. ,o N 

vT 

Después, se validó si el formato de respuesta múltiple era el más apropiado para el 
examen de clasificación, a lo cual todos los profesores concordaron que sí era el adecuado, 
aunque recomiendan utilizar otro tipo de preguntas en los demás niveles o en algunas de A2 
porque el examen podría tomarse monótono para los estudiantes. A propósito del tipo de 
formato escogido para el examen de clasificación, cabe resaltar que el de selección múltiple 
es el más utilizado debido a diferentes razones, entre las cuales podemos mencionar la 
facilidad con que se califican y la familiaridad que tienen la mayoría de los estudiantes con 
este formato. No obstante, Green (2013) recomienda utilizar otros tipos de pregunta en 
niveles más avanzados para que el evaluador obtenga más información acerca de los procesos 
cognitivos que realiza el aprendiente. 


Además, con respecto a la pregunta que verificaba si los profesores estaban de 
acuerdo con el puntaje de los ítemes, ellos coincidieron que sí eran los adecuados, 
aunque uno de ellos escribió que dado que cada nivel solamente tenía 3 preguntas, era 
complicado darle más peso a unas preguntas que a otras. Además, todos mencionaron que 
les parecía apropiado, pero algunos tenían preguntas de cómo clasificar al estudiante cuando 
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el examen de clasificación estuviera completo y obtuvieran resultados diferentes en cada una 
de las destrezas. 

Con respecto a lo anterior, el Consejo de Europa (2003) recomienda que los 
examinadores deben tomar la decisión de escoger la manera en que los estudiantes serán 
clasificados: si por un mínimo de preguntas correctas en la totalidad del examen o por un 
mínimo de respuestas correctas con respecto a cada habilidad. En relación con lo anterior, 
consideramos que ambas opciones son posibles dependiendo de las opiniones y creencias de 
los profesores y directivas del instituto y administradores del examen; es decir, se tienen que 
preguntar qué tan determinante es la puntuación total (overall score ) en el momento de 
discriminar entre las bandas de clasificación, o si por el contrario es más rentable definir un 
mínimo de preguntas correctas para ser ubicado en un nivel específico. Lo primordial en la 
escogencia de una de las dos posiciones es que cada una debe ser plenamente entendida, 
sopesando sus ventajas y desventajas para tomar una decisión concienzudamente. 

A propósito de la pregunta sobre la indagación del tiempo que debían gastar los 

Cj 

estudiantes en el examen de clasificación, esta no resultó relevante en tanto que no lo 
estimaron conveniente porque el anterior examen de clasificación no tenía tiempo límite de 
respuesta. Por lo anterior, el 33% de los profesores respondió que sí era adecuado mientras 
que el 67% respondió que no. Llama la atención que no se tenga conciencia acerca de la 
importancia del tiempo en un examen de clasificación toda vez que este se constituye un eje 
fundamental en el proceso de evaluación. En relación con esto, Weir (2005) recomienda que 
los estudiantes conozcan de antemano el tiempo que necesitarán/invertirán en la realización 
del examen no solo para que planifiquen sus tiempos con relación a la prueba, sino también 
porque el examen de comprensión de lectura está diseñado para medir el ritmo de lectura, ya 
sea lectura rápida o lectura cuidadosa. No obstante, cabe resaltar que el tiempo que se estimó 
para cada tarea es tentativo, y que la escuela será la que determinará si se acoge al tiempo 
propuesto en el examen. 
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Ahora bien, después de analizar los resultados obtenidos en la primera parte del 
cuestionario, podemos afirmar que el examen sí cumple con la validez del escenario 
propuesta por Weir (2005), tal como se muestra en la siguiente tabla: 


Tabla 8. 

Validez de escenario 


Validez de escenario 


100 

90 

3:; 

70 

60 

50 

40 

30 

20 

10 



Propósito 

instrucciones 

Formato de 
respuesta 
múltiple 

Puntaje de 
los ítem es 

Tiempo 

■ Si 

100 

100 

100 


33 

■ No 

O 

0 

0 


67 



Así pues, después de indagar acerca del escenario de la tarea se procedió a validar los 
requerimientos lingüísticos del examen, por lo que se les preguntó a los profesores acerca de 
los tipos de textos utilizado en las tareas, así como su gramática y léxico. A lo anterior los 
profesores respondieron que creían que eran los adecuados porque son parecidos a los que se 
trabajan en las clases de ELE en esos niveles. No obstante, dos profesores pensaron que el 
texto de la tarea 2 podría ser algo extenso si se tiene en cuenta que el examen contará con 
todas las habilidades desarrolladas en clase. Estos resultados son de gran importancia debido 
a que muestra que existe una coherencia entre lo que se está teniendo en cuenta para clasificar 
a un estudiante en la escuela y lo que los profesores enseñan en clase. A propósito de esto, 
Brown (2004) menciona que el examen de clasificación debe estar en total alineación con el 
programa de la institución. 

Con respecto a la extensión del texto, autores como Alderson (2000), Brown (2004) y 
Figueras & Puig (2013) concuerdan en que la extensión de un texto en una evaluación en 
niveles iniciales debe oscilar entre 300 y 350 palabras. En el examen propuesto, la primera 
tarea tiene una extensión de 133 palabras y la segunda 328. No obstante, la extensión de los 
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textos deberá replantearse en el momento que se desarrollen las demás tareas debido a que 
dependerá de la extensión total de la prueba. Cabe mencionar que Alderson (2000) sugiere 
que también se debería dar lugar a la lectura extensiva en los exámenes, es decir más de 600 
palabras, para conocer las habilidades del aprendiente en este tipo de lectura, aunque 
consideramos que no sería rentable en términos de costo-beneficio en el caso hipotético que 
la escuela se acoja al tiempo sugerido que tienen los estudiantes para desarrollar la prueba, 
es decir, afectaría su viabilidad. 


Teniendo en cuenta lo anterior, podemos decir que el examen de clasificación es válido con 
respecto a los requerimientos lingüísticos, tal como se muestra en la siguiente tabla: 


Tabla 9. 

Validez de requerimiento. 


O 




Validez de requerimiento 



Finalmente, las últimas dos preguntas de la primera parte del cuestionario indagaban 
acerca de la validez de la teoría en que se basan las tareas. Para esto, primeramente se validó 
si los profesores consideraban que la manera de clasificar a los estudiantes era adecuada, a 
lo cual el 67% respondió que sí era adecuada y el 33% que no. Este último manifestó que 
consideraba que tres preguntas eran muy pocas para decidir el nivel del estudiante. Al 
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respecto, consideramos que el número de preguntas no es un factor determinante en tanto que 
se debe dar prevalencia a la calidad de las preguntas y al tipo de tareas que los estudiantes 
deben desarrollar para ser clasificados en un nivel específico, más que a la cantidad. A 
propósito de esto, Green (2013) menciona que a pesar de que se cree que la validez de un 
examen aumenta en la medida que tenga más ¡temes para ver las habilidades de los 
estudiantes, se debe tener en cuenta el tiempo que disponen para responder la prueba, lo cual 
concierne a la viabilidad. Además, menciona que un ítem debe ser lo suficientemente 
discriminatorio para poder medir una habilidad y conocimiento específico de un nivel. 


Por último, frente a la pregunta en donde se indagaba acerca de si los objetivos de 
cada nivel se veían reflejados en las preguntas, los profesores respondieron que sí había 
concordancia. Esto garantiza que efectivamente el examen da cuenta de lo que se enseña, por 
lo cual sí podría responder a una necesidad de clasificación particular. Esto coincide con los 
planteamientos de Bachman (2011) quien afirma que para que un examen sea válido, sus 
objetivos deben estar totalmente relacionados con lo que se está evaluando. 

Q <?~ 

Por todos los argumentos expresados anteriormente, se puede afirmar que el examen 
es válido en la teoría en que se basa, tal como lo muestra la siguiente tabla: 




Tabla 10. 

Validez de la teoría en que se basa. 
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Ahora bien, la segunda parte del cuestionario tenía como objetivo validar si los 
atributos propuestos para cada uno de los ¡temes concordaban con lo que se pretendía medir. 
Primero, tuvimos en cuenta las microdestrezas de skimming, scanning y hacer inferencias. 
Además, se tuvo en consideración los aportes de Kim (2015), Sawaki et a!. (2009) y Jang 
(2005), quienes coinciden en que hay 3 tipos de conocimiento implicados en la comprensión 
de textos: conocimiento del significado lexical, conocimiento del significado de la oración y 
conocimiento del significado del párrafo o texto (Ver apartado Marco teórico, sección 5.2.1) 

A continuación se presentan los resultados obtenidos en la validación de las 
microdestrezas. En la parte superior horizontal (Cuadros grises figura 11) se encuentran los 
atributos que consideramos se evalúan en cada una de las preguntas. En la parte vertical 
izquierda, los cuadros de color gris corresponden a los profesores que validaron la prueba. 
Hay que tener en cuenta que los cuadros de color verde corresponden a las respuestas de los 
profesores que coincidieron con los atributos predeterminados; el amarillo alude a aquellas 
respuestas que aciertan parcialmente, en otras palabras con algunos de los atributos que se 
habían asignado a cierto ítem. Finalmente, el'color rojo se relaciona con las respuestas que 
no tuvieron ninguna coincidencia con el atributo establecido. 



Pr.l 
Lexical + 
Scanning 

Pr.2 

Lexical + 
Scanning 

Pr.3 

Oración + 
Scanning 

Pr.4 
Lexical + 
Scanning 

Pr.5 

Oración + 
Scanning 

Pr.6 

PárrafofTexto 
+ Skimming 

Prof 1 

Lexical 

Scanning 

Lexical 

Oración 

Scanning 

Scanning 

Oración 

PárrafoHexto 

Skimming 

Prof 2 

Lexical 

Scanning 

Lexical 

Scanning 

Oración 

Scanning 


Scanning 

Oración 

Párrafo/Texto 

Prof 3 

Lexical 

Lexical 

Oración 

Scanning 


PárrafoHexto 


Resul- 

66% correcto. 

34% correcto. 

66% correcto. 

66% 

33% 

66% 

34% 

66% 

34% 

parcialmente 

correcto. 33% 
correcto. 33% 
incorrecto 

parcialmente 

fados 

parcialmente 

parcia 1mente 

parcialmente 

correcto, 34% 

correcto, 34% 


correcto 

correcto 

correcto 

incorrecto 

correcto 




Figura 11: Respuestas de los profesores en relación con la estructura de la prueba en la tarea 1 



Con respecto a las preguntas 1^2JÍ3, 4 y 5 que van orientadas al conocimiento del 
significado lexical, de la oración y la microdestreza de sccinning, se evidencio que los 
docentes no tuvieron dificultad en identificar las preguntas que corresponden a estos 
atributos, lo que nos sugirió que las mismas preguntas aluden al atributo que se está midiendo. 
Pese a que los ítems 4 y 5 no fueron vinculados con ninguno de los atributos preseleccionados 
por parte de uno de los tres docentes, esto no constituye un porcentaje relevante comparado 
con los aciertos que tuvieron. 


En cuanto a la pregunta número 6 que está enfocada al conocimiento del significado 
del párrafo o texto y la microdestreza de skimming, se puede señalar que los profesores 
estaban más familiarizados con el primer atributo que con el segundo, esto se puede constatar 
en la pregunta 11 del cuadro que se presenta a continuación, correspondiente a la tarea 2 
(Preguntas 7 a 12) 
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Pr.7 

Inferencia + 
Scanning 

Pr.8 

Oración + 
Scanning 

Pr.9 

Oración ♦ 
Scanning 

Pr.10 
Oración + 
Scanning + 
Inferencias 

Pr.ll 

Párrafo/Texto 
+ Skimming + 
Inferencias 

Pr.12 

Párrafo/Texto 
Skimming + 
Inferencias 

Prof 1 

Inferencia 

Oración 

Oración 

Scanning 

Oración 

Párrafo/Texto 

Inferencia 

Párrafo/Texto 

Skimming 

Prof 2 

Inferencia 

Oración 

Scanrwng 

Scanning 

Inferencia 

Inferencia 

Párrafo/Texto 

Skimming 

Prof 3 

Scanning 

Oración 

Oración 

Oración 

Párrafo/Texto 

Párrafo/Texto 


Resul¬ 

tados 

100% 

parcialmente 

correcto 

100% 

parcialmente 

correcto 

66% 

parcialmente 
correcto: 34% 
correcto 

CÍOO% 

parcialmente 

correcto 

100% 

parcialmente 

correcto 

100% 

parcialmente 

correcto 


Figura 12: Respuestas de los profesores en relación con la estructura de la prueba en la tarea 2 

'P' 

Con referencia a las preguntas correspondientes a la tarea 2, los profesores 
coincidieron en su mayoría en un acierto parcial de los atributos que se asignaron a cada ítem, 
mientras que en la pregunta número 9, relacionada con el conocimiento del significado de la 
oración y la microdestreza de scanning, un 66% de los profesores concordó parcialmente y 
un 34% lo hizo en su totalidad. Esto podría sugerimos que los profesores no estaban muy 
familiarizados o conscientes con lo que son las inferencias y la microdestreza de skimming. 


Podemos tener en cuenta igualmente, que para los docentes fue más sencillo 
identificar los atributos que están más relacionados con lo que pueden hacer los estudiantes 
que están en el nivel Al, en otras palabras, los que están orientados al conocimiento del 
significado lexical, de la oración y la microdestreza de scanning. Esto podría relacionarse 
con el hecho de que son atributos un poco más fáciles de realizar que las inferencias y el 
skimming. 
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Un hecho importante es que estos resultados nos confirmaron que la habilidad de 
comprensión lectora implica el desarrollo de una serie de microdestrezas que se activan al 
momento de leer y en algunas ocasiones, se antepone una a la otra; es decir, los resultados 
que encontramos en esta parte del cuestionario muestran cómo para algunos docentes, unas 
habilidades son más preponderantes que otras. De acuerdo con Brown (2004) cuando leemos, 
utilizamos unas microdestrezas, las cuales son escogidas por nuestro cerebro dependiendo 
del propósito que tengamos, sin que esto signifique que no se están usando otras destrezas. 

Adicionalmente, llama la atención que los resultados del cuestionario 1 difieren 
parcialmente con la segunda parte. Al respecto, consideramos que los profesores creen que 
el examen es válido y se relaciona con los temas y el tipo de texto trabajado en cada uno de 
las tareas, pero se les dificultó identificar los atributos relacionados con cada ítem en tanto 
que sospechamos que no tienen un conocimiento profundo relacionado con los atributos que 
se activan al momento de leer un texto en su segunda lengua. Lo anterior concuerda con lo 
mencionado por López & Bemal (2009), quienes aseguran que es muy poco el entrenamiento 
que se les brinda a los profesores de lengua acerca de cómo evaluar en una segunda lengua. 
Además, McNamara (2000) coincide en que la mayoría de los profesores no son conscientes 
de los procesos cognitivos que llevan a cabo los estudiantes al momento de leer en segunda 
lengua, ni posiblemente tienen presente el nivel de comprensión que debe tener en cada uno 
de los niveles debido a que existe la creencia que la comprensión lectora es una habilidad 
que es transferible desde la lengua materna. 
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8. CONCLUSIONES 


Después de haber expuesto el recorrido para el diseño de la propuesta de examen de 
clasificación para el centro de idiomas El, a continuación se presentan las conclusiones del 
estudio respondiendo al interrogante de investigación y a los objetivos de la misma. 


En relación con la pregunta de investigación, la cual hizo referencia a cómo evaluar 
la condición de entrada en la habilidad de comprensión lectora de los estudiantes de español 
L2 en la escuela de idiomas El, podemos afirmar que dimos respuesta a este interrogante, 
puesto que logramos diseñar un examen de clasificación que mide la comprensión lectora en 
los niveles Al y A2. En primera medida, es importante resaltar que en la construcción de una 
prueba, es fundamental tener en cuenta dos criterios básicos que debe poseer un instrumento 
de evaluación: la validez y la viabilidad. En nuestro caso resultaron claves, puesto que es 


evidente la tensión que existe entre la cantidad y la calidad de ítemes a la hora de hacer 
cualquier evaluación. 

Después de realizar el diseño y líQPítlidación de la prueba, se evidenció que la 

x'O 

puntuación de un examen no depende de la cantidad de ítemes que este incluya, sino que al 
diseñar cada uno de los ítemes se tenga la rigurosidad y la experticia de lograr que midan lo 
que deben medir creando un equilibrio entre viabilidad y validez. Asimismo, es un falso mito 
creer que entre mayor cantidad de ítemes haya en un examen se tiene más validez, debido a 
que una prueba puede ser lo suficientemente discriminatoria para poder clasificar a un 
estudiante, sin necesidad de tener una gran cantidad de ítemes por subnivel que afecten la 
viabilidad de la misma. 



Adicionalmente, se pudo comprobar que un examen de clasificación, además de 
determinar el nivel en el cual se encuentra el estudiante, también puede dar cuenta de sus 
debilidades y fortalezas, para que de esta manera el profesor pueda enfocarse en sus 
necesidades particulares. En el caso de la prueba diseñada se podría lograr con el uso de la 
matriz Q que permite evidenciar las microdestrezas y conocimientos que poseen los 
estudiantes y que se activan cuando leen. Así pues, esta prueba constituye una herramienta 
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útil no solamente para los directivos, profesores y estudiantes de El, sino también para las 
personas interesadas en desarrollar procesos de evaluación. 


Ahora bien, en relación con el cumplimiento de los objetivos de investigación, el 
primer objetivo específico, se propuso identificar los niveles de ingreso más frecuentes que 
presentan los estudiantes de los cursos de español como lengua extranjera en EL Por ello, se 
realizó un análisis de necesidades, puesto que a partir de este fue que se estimaron los niveles 
que se iban a medir en la prueba (Al y A2), dado que es en el rango de estos que se encuentra 
la mayor parte de la población que ingresa a la institución. Además, nos permitió diseñar un 
examen más discriminatorio ya que a partir del resultado de la prueba se puede determinar 
en qué subnivel se debe clasificar un estudiante (A 1.1, Al.2, A2.1 y A2.2), lo cual es 
importante para la institución debido a que la prueba de ingreso que emplea en la actualidad 
no está diseñada para clasificarlos en todos los subniveles con los que cuenta la escuela. Esta 
es una fase fundamental para el diseño de cualquier evaluación (Alderson, 2000), pues no 

¿O 

solamente contribuyó a tener claridad acerca del porqué y para quién se realizaba el examen, 
sino también facilitó el diseño del mismo. & 


<s^ 

En cuanto al segundo objetivo específico, se propuso seleccionar las microdestrezas 
y los contenidos que se midieron en cada uno de los niveles. Al momento investigar acerca 
de dichas microdestrezas utilizadas a la hora de leer en una lengua extranjera, se encontró 
que hay una fuerte tendencia por parte de varios autores a privilegiar las de skimming 
(comprender la idea general del texto), scanning (encontrar información específica) y hacer 
inferencias. Esto se evidenció, después de hacer una revisión de la literatura y de identificar 
las microdestrezas más recurrentes en autores como Brown (2001), Jang (2005), Khalifa & 
Weir (2009), Figueras & Puig (2013) y Kim (2015). Lo anterior es importante en la medida 
que es posible que los profesores privilegien más la creencia de que la comprensión de lectura 
no requiere procesos complejos y se puede evaluar con ejercicios mecánicos. Para el caso de 
esta investigación en particular el pensar que la CL obedezca simplemente a un ejercicio 
mecánico de extrapolar información del texto, es negar que existen otras estrategias 
involucradas en la CL como por ejemplo las microdestrezas que se activan dependiendo del 
texto que se esté leyendo. 
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Respecto al tercer objetivo específico, que buscaba establecer los descriptores de 
nivel que ilustraron cada uno de los niveles propuestos por la escuela, se halló que para 
redactar los descriptores correspondientes a los subniveles que no contempla el MCER entre 
los niveles, es decir Al.l, A1.2, A2.1 y A2.2, los diseñadores de la prueba, deben crearlos 
teniendo en cuenta el programa, los materiales y el MCER. Además, dichos descriptores 
deben ser lo suficientemente específicos y discriminatorios entre uno y otro para que no haya 
duda de lo que pueden hacer los estudiantes en cada uno de los subniveles. En evaluación se 
necesitan pruebas que discrimen entre los subniveles y resuelvan los aspectos faltantes, que 
muchas veces quedan entre ellos, en el caso específico de nuestra prueba, esta permite dar 
solución a estos vacíos que se identifican en un nivel, por ejemplo, los niveles de compresión 
se establecieron a la luz de los grados de comprensión que desarrolla un aprendiz de lengua: 
primero, una lectura literal de reconocimiento de palabras y frases básicas; segundo, una que 
comprende el sentido de un texto sencillo; tercero, una en la que se encuentra información 
específica; y posteriormente, una inferencial. Esto es de gran importancia para la escuela 
puesto que el actual examen no tiene en cuenta los subniveles. 

XT 

En relación con el cuarto objetivo, que buscaba dar cuenta de la construcción de los 
tipos de preguntas, tareas y tipos de textos que se emplearon en el examen, se encontró que 
al igual que en la enseñanza, cuando se construye un examen se pueden utilizar tareas, ya 
que permiten examinar diferentes situaciones del uso de la lengua. Es decir que en una 
evaluación, también podemos tener situaciones que se pueden enmarcar en la vida real como 
también lo sostiene Alderson (2000). En relación con el tipo de preguntas, podemos decir 
que se halló que para los niveles Al y A2 es mejor hacer preguntas cerradas de respuesta 
múltiple, ya que permiten realizar una evaluación de un ámbito amplio de conocimiento, lo 
cual repercute en la validez, puesto que los resultados de estas preguntas son objetivos con 
relación al nivel de dificultad de cada una de ellas (Ebel & Frisbi, 1991), y no presentan una 
dificultad mayor para el estudiante ya que se encuentran familiarizados con este tipo de 
preguntas. 

Asimismo, se encontró que cada pregunta debe dar cuenta de las microdestrezas y 
atributos que activa el estudiante cuando lee un texto. Para el caso en particular de nuestra 
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prueba, en las preguntas 1, 2 y 3 se activa el conocimiento del significado lexical, en las 3, 
5, 8, 9 y 10 el conocimiento del significado de la oración, en las 6, 11 y 12 el conocimiento 
del significado del párrafo/texto, en las número 1, 2, 3, 4, 5, 7, 8, 9 ylO se activa la 
microdestreza de scanning (encontrar información específica), en las 6, 11 y 12 la 
microdestreza de skimming (comprender la idea general del texto), y por último en las 7, 10, 
11 y 12 1a microdestreza de inferencia. 

En cuanto al último objetivo, que intentaba dar cuenta del establecimiento de las 
escalas de evaluación para la puntuación del examen de clasificación, se evidenció que en 
evaluación cuando se tienen que definir unas escalas, se debe tener en cuenta que el número 
de preguntas no es un factor determinante en tanto que se debe dar prevalencia a la calidad 
de las preguntas y al tipo de tareas que los estudiantes deben desarrollar para ser clasificados 
en un nivel específico, más que a la cantidad, ya que la puntuación de un examen no depende 
de la cantidad de ¡temes que incluya, sino al equilibrio entre viabilidad y validez. 

Es claro que el diseño de una evaluación es un proceso que tiene un grado de 
subjetividad y de toma de decisiones acerca de lo que se entiende por comprender un texto 
al leer en una lengua extranjera. Sin embargo, se podría decir que es posible establecer unos 
criterios básicos a la hora de evaluar para que este sea riguroso y coherente con el plan de 
estudios y con el MCER. Todo esto es posible si se hace un trabajo comprometido entre los 
profesores, en tanto que se dialogue y se discuta sobre los procesos necesarios para el diseño 
de la evaluación y su coherencia con los contenidos de la clase. De ahí la necesidad que existe 
de trabajar conjuntamente con los docentes y administrativos de la escuela para hacerlos más 
partícipes en el diseño de la totalidad de la prueba. 
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9. RECOMENDACIONES PARA DISEÑAR UN EXAMEN DE CLASIFICACIÓN 


Dada la naturaleza de nuestra investigación se mencionan algunas recomendaciones para 
los profesores que deseen diseñar un examen de clasificación de la comprensión lectora: 

1. Definir desde el primer momento el concepto de comprensión de lectura, es decir, si 
es una sola habilidad, si requiere diferentes microdestrezas independientes o microdestrezas 
que se interrelacionan, etc. Esto guiará mejor los objetivos del trabajo. 

2. Determinar los objetivos de cada uno de los niveles desde el principio teniendo en 
cuenta el porqué, para qué, a quién y en dónde se evaluará, debido a que esto facilitará el 
diseño de las tareas. 

3. Se debe tener en cuenta el programa y el material que se utiliza en clase, para que el 
examen esté en concordancia con los temas que se enseñan en cada uno de los niveles a 
clasificar. 

4. Hacer uso de diferentes tipos de pregunta para los niveles superiores de lectura, para 
niveles B1 recomendamos utilizar preguntas de llenar espacios en blanco dentro del texto 
utilizando palabras con el fin de medir la coherencia general del párrafo y las relaciones 
entre las oraciones. Para niveles B2, ejercicios de relacionar subtítulos para cada uno de los 
párrafos del texto, adicionando uno como distractor para entender la relación entre los 
párrafos y darle sentido a todo el texto. 

En el nivel C1 se pueden proponer ejercicios en donde se evalúe la comprensión de 
la macroestructura del texto, por lo que sugiere actividades donde el estudiante pueda 
seleccionar oraciones que resuman los temas del texto y luego ordenarlos correctamente, 
utilizando al menos dos distractores, según lo que sugiere Oreen (2013). 

5. A medida que el nivel evaluado aumenta, no necesariamente debe aumentar la 
extensión del texto, sino la complejidad en sus temas, en su tipología, vocabulario y 
abstracción del contenido. Además, como se debe tener en cuenta la viabilidad del examen, 
se recomienda utilizar un mismo texto para los niveles superiores, pero que la complejidad 
aumente en los ítemes, teniendo en cuenta lo que menciona el MOER en cada uno de los 
niveles (Brown, 2004). 
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6. Cuando el examen esté totalmente completo, se recomienda hacer que el estudiante 
responda el cuestionario de autoevaluación del MCER sobre lo que puede o no puede hacer 
en la lengua meta o un cuestionario propio basado en las escalas de marco (Green, 2013). 
Dependiendo del resultado que obtenga, se le debe administrar la parte del examen que 
corresponda a ese nivel y a los niveles inmediatamente antes y después. Por ejemplo, si el 
estudiante obtiene en el cuestionario un nivel B1, se le debe entregar la parte del examen 
correspondiente a A2, B1 y B2. Así pues, al terminar la totalidad del examen se podría 
utilizar como estrategia para que el estudiante no realice la totalidad del examen de lectura. 
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